[Spark streaming举例]--实现过滤黑名单

最新推荐文章于 2024-08-24 09:53:43 发布

往事随风ing

最新推荐文章于 2024-08-24 09:53:43 发布

阅读量2.3k

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/high2011/article/details/51585239

版权

Spark 专栏收录该内容

133 篇文章 10 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何利用Spark Streaming处理实时数据流，并实现黑名单过滤功能。通过实例展示，详细讲解了Spark Streaming的基本操作和黑名单过滤的逻辑实现，帮助读者理解在大数据实时处理中的应用。

摘要由CSDN通过智能技术生成

举例如下

package com.scala.my

import org.apache.spark.SparkConf
import org.apache.spark.streaming.Durations
import org.apache.spark.streaming.StreamingContext

/**
 * 
 * @author root 
 *   过滤黑名单 
          步骤：
 *          1\在h15上开启端口9999:#nc -lk 9999
 *          2\run本程序
 *          3\在h15的dos界面输入日志内容：(注意格式是"日期+名称")
 *          0509 yasaka
 *          0509 lily
 *          0509 cassie
 *          4\如果console没有打印lily，那么测试通过
 *         测试结果：通过
 */
object TransformBlackList {
  def main(args: Array[String]): Unit = {
    //获取streamingContext
    val sc=new StreamingContext(new SparkConf().setAppName("transform").setMaster("local[2]"),Durations.seconds(8))
    /**
     * 创建模拟数

了解本专栏