![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark streaming源码
。
韩运畅
这个作者很懒,什么都没留下…
展开
-
spark.streaming.receiver
1.SocketReciever实现,一条一条读取,让Blockgenerator来收集。2. RawNetworkreceiver实现,数据尽量读取,直接作为block存入。三个最重要的类Reciver:在onstart中接收数据,然后调用自己的store方法存数据。该方法是依赖 ReceiverSupervisor进行的,他里面对不同格式的数据采取不同的处理。ReceiverSupervisor:处理数据的类,它可以依赖BlockGenerator来处理,也可原创 2020-05-12 09:15:06 · 133 阅读 · 0 评论 -
org.apache.spark.executor
原创 2020-05-12 09:14:43 · 272 阅读 · 0 评论