structed streaming 源码分析

1.load的源码分析

 load=>lookupDataSource

说白了就是构造logic　plan 以及为每一个logic 生成df，一定要注意此时所有df中没有数据

2.structed streaming为什么可以实现增量导入

主要是因为会维护一个state，这个state就是用来存最新的update的结果，

此时我们假如去做group by 那么后面的都相当于key

3.structed streaming 的执行过程

df->....(logic plan)->runbatch->getData->excute each logic plan with order->

sink->waiting for 10seconds ->df->.....

4.structed streaming 的group by

如果在sql中做了group by的操作，则以window作为聚合的段，然后把输出模式设置成update