第103课：动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数

最新推荐文章于 2020-05-24 11:16:53 发布
最新推荐文章于 2020-05-24 11:16:53 发布
阅读量2k 收藏 1
点赞数
分类专栏： 大数据IMF传奇行动－Spark Hadoop
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/51404408
版权
本篇博客介绍了如何使用Spark Streaming结合Broadcast和Accumulator实现实时流处理中的在线黑名单过滤及计数。通过Broadcast将黑名单广播到Executor，使用全局计数器记录过滤的黑名单数量。在实验中，作者遇到并解决了Tcpudp工具问题，最终成功实现了对nc命令发送的黑名单数据的统计。
摘要由CSDN通过智能技术生成

第103课：动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数

/* 王家林老师授课http://weibo.com/ilovepains  每天晚上20：00YY频道现场授课频道68917580*/

Spark Streaming实时流处理，对于nc 输入的数据流进行黑名单过滤，并对黑名单输入的次数进行计数。


我们使用广播变量定义黑名单，使用Broadcast广播黑名单到每个Executor中

broadcastList = jsc.sparkContext().broadcast(Arrays.asList("Hadoop","Mahout","Hive"));


全局计数器，用于通知在线过滤了多少各黑名单

accumulator = jsc.sparkContext().accumulator(0, "OnlineBlacklistCounter");


实验步骤：

1、之前好用的的T

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
第108课： Spark Streaming电商广告点击综合案例动态黑名单过滤真正的实现代码
段智华的博客
05-21 1520
第108课： Spark Streaming电商广告点击综合案例动态黑名单过滤真正的实现代码 /*王家林老师授课http://weibo.com/ilovepains  每天晚上20：00YY频道现场授课频道68917580*/   在什么时候实现动态黑名单的过滤 动态黑名单过滤代码实战 跟android等其他所有开发相比较，大数据开发的不同点：40%的时间花在性能调优、shuffle、
第106课： Spark Streaming电商广告点击综合案例黑名单过滤实现
段智华的博客
05-19 1692
第106课：  Spark Streaming电商广告点击综合案例黑名单过滤实现 /*王家林老师授课http://weibo.com/ilovepains  每天晚上20：00YY频道现场授课频道68917580*/  识别黑名单用户比在线机器学习退而求其次的做法如下  例如，一段时间内，同一个IP（MAC地址）有多个用户的账户访问  例如，可以统计一天一个用户点击广告的次数，如果一天点击
第107课： Spark Streaming电商广告点击综合案例底层数据层的建模和编码实现（基于MySQL）
qq_21234493的博客
05-24 1243
1：传统的关系型数据库都是伪分布式，在100个使用了底层数据持久化层的案例中，至少有90个底层都是基于数据库的。当然可以选择基于Hbase或者Redis，但是实际上大多数人底层都会基于数据库。因为1，数据库可以非常高效的读写，尤其频繁的批量的插入，数据库特别适合。2，传统的it系统大多数都是基于数据库，所以spark处理的结果，如果仍给了数据库，传统的javaee系统例如spring，这些系统可以
【Spark Java API】broadcast、accumulator
小飞侠的专栏
08-23 1054
spark java api...
第103讲： 动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
qq_21234493的博客
05-22 1861
1：广播可以自定义，例如你自定义广播里面的内容，就有很多你可以自定义的操作。尤其是结合了Broadcast和Accumulator的时候，他可以实现一些非常复杂的功能。 2：广播和计数器在企业的实际开发中，非常重要，主要是可以自定义，自定义的时候可以实现非常复杂的逻辑。计数器Accumulator可以计数黑名单。黑名单数据可以写在广播里面 3：下面直接上代码，当然，这只是初步的使用，广播和计算
动手实战联合使用Spark Streaming、Broadcast、Accumulator计数器实现在线黑名单过滤和计数
吾心光明
08-31 3503
本博文主要包括： 1、Spark Streaming与Broadcast、Accumulator联合 2、在线黑名单过滤和计数实战一、Spark Streaming与Broadcast、Accumulator联合：在企业实战中，广播本身广播到集群的时候，联合上计数器的话就有很大杀伤力，这时候你可以自定义，例如自定义广播中的内容，可以实现非常复杂的内容。之所以广播和计数器特别重要，一方面鉴于广播和
通过Python实现基于Spark-Streaming的黑名单实时过滤系统的设计与实现.zip
最新发布
03-21
介绍了如何使用Python和Apache Spark Streaming构建一个实时黑名单过滤系统。该系统利用Spark的微批处理能力，通过TCP套接字接收实时数据流，并根据预定义的黑名单对数据进行过滤。在设计中，黑名单以广播变量的形式...
SparkStreaming：案例动手实战并在电光石火间理解其工作原理
02-24
流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。日常工作、生活中数据来源很多不同的地方。例如：工业时代的汽车制造、监控...
SparkStreaming之`共享变量(Accumulator & broadcastVar)`与checkpoint的关系
shufangreal的博客
05-24 270
SparkStreaming之共享变量(Accumulator & broadcastVar)与checkpoint的关系 在SparkStreaming中，Accumulator & Broadcast是不能从checkpoint中进行恢复的，如果在程序中同时用到了共享变量与checkpoint操作，那么我们需要为累加器和广播变量创建懒汉式的单例模式，以便在Driver程序发生故障时，重新启动后可以重新实例化它们，实例代码如下: object WordBlacklist { @vol
SparkStreaming 实现黑名单过滤功能
Song_MJ的博客
03-26 795
pom 文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache....
Spark累加器accumulator学习
伤心的桔子嘎的自习室
01-05 1224
功能描述：统计输入文件中有多少空行 // 在Java中累加空行 JavaRDD rdd = sc.textFile(args[1]); final Accumulator blankLines = sc.accumulator(0); JavaRDD callSigns = rdd.flatMap(new FlatMapFunction() { private static
大数据Spark “蘑菇云”行动第39课：Spark中的Broadcast和Accumulator机制解密
段智华的博客
09-07 711
大数据Spark “蘑菇云”行动第39课：Spark中的Broadcast和Accumulator机制解密   RDD: 分布式私有数据结构； Broadcast：分布式全局只读数据结构； Accumulator：分布式全局只写的数据结构； 在生产环境下，我们几乎一定会自定义Accumulator 1，自定义的时候可以让Accumulator非常复杂，基本上可以是任意类型的Java和S
spark中的Broadcast variables和Accumulator
kongshuchen的博客
05-06 3362
举个例子： val factor = 3 rdd.map( num => num*factor)以上两行代码显示了rdd的一个map操作，其中factor是一个外部变量。默认情况下，算子的函数内，如果使用到了外部变量，那么会将这个变量拷贝到执行这个函数的每一个task中。如果该变量非常大的话，那么网络传输耗费的资源会特别大，而且在每个节点上占用的内存空间也特别大。 Spark提供的Broadc
Spark Accumulator示例代码
a1158375969的专栏
04-09 293
package examples; import org.apache.spark.Accumulator; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apach...
第39课：Spark中的Broadcast和Accumulator机制解密
段智华的博客
06-04 2910
第39课：Spark中的Broadcast和Accumulator机制解密Spark的Broadcast和Accumulator很重要，在实际的企业级开发环境中一般会使用Broadcast和Accumulator。Broadcast和Accumulator和RDD是Spark中并列的三大基础数据结构。大家谈Spark的时候首先谈RDD，RDD是一个并行的数据，关注在jvm中怎么处理数据。很多时候可
SparkStreaming之Accumulators和Broadcast
legotime的博客
07-06 4811
1、Accumulators和Broadcast基础理解 共享变量 共享变量目的是将一个变量缓存在每台机器上，而不用在任务之间传递。在SparkCore中经常广播一些环境变量， 目的是使得在同一时间集群中的每台机器的环境变量都更新。它的功能是用于有效地给每个节点输入一个环境变量 或者数据集副本，這样可以减少通信的开销。這样使得我们在多个任务之间使用相同数据的时候，创建广播变量结 合并行处
Spark累加器(Accumulator)陷阱及解决办法
热门推荐
偷闲小苑
03-25 1万+
程序中可能会使用到spark提供的累加器功能，可是如果你不了解它的运行机制，有时候会带来一些负面作用（错误的累加结果）。 下文会介绍产生错误结果的原因，并提供一种解决办法。 Accumulator简介Accumulator是spark提供的累加器，顾名思义，该变量只能够增加。 只有driver能获取到Accumulator的值（使用value方法），Task只能对其做增加操作（使用 +=
Spark Streaming算子实战：实时黑名单过滤与自定义转换
Spark Streaming算子开发实例是一篇详细讲解如何在Apache Spark Streaming中创建和使用自定义算子的教程。Spark Streaming是Spark平台的一部分，专为处理实时流数据而设计，它基于微批量处理模型，将连续的数据流...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值