spark streaming每次从kafka拉取多少数据

spark streaming每个 job的数据量  与以下几个参数有关。

1. 批次间隔时间，例如5秒拉取一次

2. 自己配置的 每个partition 一次最少拉取的条数

假设5秒一个批次 ，kafka 5个partition，配置每个partition最少拉取1000条

那么最终一个Job中的数据条数 25000条（1000*5*5)（正常情况下）。

如果kafka有数据堆积，比如程序异常down掉，累计了70万条数据。没有手动修改偏移量的情况下，那么第一个job就会有70万条记录。

最好自己管理偏移量，比如我存在了Oracle。