超级会员免费看
本篇博客介绍了如何使用Spark Streaming结合Broadcast和Accumulator实现实时流处理中的在线黑名单过滤及计数。通过Broadcast将黑名单广播到Executor，使用全局计数器记录过滤的黑名单数量。在实验中，作者遇到并解决了Tcpudp工具问题，最终成功实现了对nc命令发送的黑名单数据的统计。
第103课：动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20：00YY频道现场授课频道68917580*/
Spark Streaming实时流处理，对于nc 输入的数据流进行黑名单过滤，并对黑名单输入的次数进行计数。
我们使用广播变量定义黑名单，使用Broadcast广播黑名单到每个Executor中
broadcastList = jsc.sparkContext().broadcast(Arrays.asList("Hadoop","Mahout","Hive"));
全局计数器，用于通知在线过滤了多少各黑名单
accumulator = jsc.sparkContext().accumulator(0, "OnlineBlacklistCounter");
实验步骤：
1、之前好用的的T
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
