spark streaming每次从kafka拉取多少数据

spark streaming每个 job的数据量  与以下几个参数有关。

1. 批次间隔时间,例如5秒拉取一次

2. 自己配置的 每个partition 一次最少拉取的条数

假设5秒一个批次 ,kafka 5个partition,配置每个partition最少拉取1000条

那么最终一个Job中的数据条数 25000条(1000*5*5)(正常情况下)。

如果kafka有数据堆积,比如程序异常down掉,累计了70万条数据。没有手动修改偏移量的情况下,那么第一个job就会有70万条记录。

最好自己管理偏移量,比如我存在了Oracle。

©️2020 CSDN 皮肤主题: 1024 设计师: 上身试试 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值