spark.streaming.receiver

1.SocketReciever实现,一条一条读取,让Blockgenerator来收集。
在这里插入图片描述
2. RawNetworkreceiver实现,数据尽量读取,直接作为block存入。
在这里插入图片描述

三个最重要的类

Reciver:在onstart中接收数据,然后调用自己的store方法存数据。该方法是依赖
        ReceiverSupervisor进行的,他里面对不同格式的数据采取不同的处理。
ReceiverSupervisor:处理数据的类,它可以依赖BlockGenerator来处理,也可
        以依赖receivedBlockHandler直接将数据作为一个block存入。
BlockGenerator:他里面有两个线程,一个利用回调函数定时处理收集到的数据将    
        他们作为一个block存入集合,另一个不断从集合中取block将其存入。它的
        addData()方法设计到了令牌桶的操作。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值