广告黑名单-SparkStreaming

最新推荐文章于 2024-05-12 09:40:52 发布

wangfutai91

最新推荐文章于 2024-05-12 09:40:52 发布

阅读量253

点赞数

分类专栏： SparkStreaming

本文链接：https://blog.csdn.net/suojie123/article/details/88196820

版权

本文探讨如何利用SparkStreaming实时处理广告黑名单数据，通过实时监控和过滤，提升用户体验并保护平台安全。

摘要由CSDN通过智能技术生成

动态过滤,黑名单时刻发生改变,不再是一个固定名单
* updatastatabykey
* 黑名单中(aa, true)  (bb, false) 黑名单动态生成
* aa, true   黑名
* bb, false 进入黑名单,等待进一步确认
**
*在黑名单 如果外部传递  名字 false 那么就把这个false改成true
*cc, false
**
*外部如果传递 dd, true 直接过滤
**
*提示:
*需要开启两个DStream
*一个DS用于记录黑名单
*一个DS用于 名单处理
*需要开启4个线程


object homework extends App{
  System.setProperty("hadoop.home.dir", "E:\\software\\bigdate\\hadoop-2.6.0-cdh5.15.0\\hadoop-2.6.0-cdh5.15.0")
  val conf=    new SparkConf();
  //spark配置
  //指明运行方式 local本地,local[4]开启4个线程
  conf.setMaster("local[4]")//一个线程用于读数据，一个用于处理数据
  conf.setAppName("WordCountStreaming")//在yarn资源管理器监控
  val sc= new SparkContext(conf);
  //StreamingContext 是SparkStreaming驱动
  val batch=5
  val streamingContext= new StreamingContext(sc,Seconds(batch))
   streamingContext.checkpoint("E:\\sparkdata")
  //确定输入源
  //单纯统计  输入源 监听网络端口
  val sourceDS= streamingContext.socketTextStream("