数据处理原理剖析（block与batch关系透彻解析）

每隔我们设置的batch interve的time，就去找ReceverTracker，将其中的，从上次划分的batch的时间，到目前为止的这个batch interval time间隔的block，给封装成为一个batch.

其次，就会将这个batch中的数据，去创建一个初始化RDD,这个RDD中有几个partition呢？这是batch和block之间的关系的微妙之处，事实上，是这样的，一个batch内，那段时间封装了几个block，那几个block就代表batch对应的RDD会有几个partition

 

这个batch对应的RDD的partiton的数量，直接决定了什么？决定了数据处理阶段的并行度，和调优有关系，如果你想增加数据处理阶段的性能，那么会考虑增加并行度？那么，就考虑缩短block interval?