个人GitHub地址 :https://github.com/LinMingQiang
以SocketInputDStream为例
继承自ReceiverInputDStream使用Receiver的方式从源数据获取数据解读分两个部分
获取数据
获取一个接收数据的类
这个类继承 Receiver
Receiver的接收方式需要将数据存在内存或者其他地方,所以Receiver又个内存消耗。
在OnStart里面启动一个线程进行数据获取
获取一个socket的流。然后不停地取和使用store存到blockManager里面