Spark-Streaming之transform操作，实时黑名单过滤案例

最新推荐文章于 2024-05-20 15:42:52 发布

守猫de人

最新推荐文章于 2024-05-20 15:42:52 发布

阅读量1k

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/ZMC921/article/details/75106165

版权

  Transform操作，应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作。它可以用于实现，DStream API中所没有提供的操作。比如说，DStream API中，并没有提供将一个DStream中的每个batch，与一个特定的RDD进行join的操作。但是我们自己就可以使用transform操作来实现该功能。 

  DStream.join()，只能join其他DStream。在DStream每个batch的RDD计算出来之后，会去跟其他DStream的RDD进行join。 

案例：

object TransformDemo {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.WARN)
    val config = new SparkConf().setAppName("TransformDemo").setMaster("local[2]")
    val ssc = new StreamingContext(config, Seconds(2))
    //定义黑名单数组
    val blackList = Array(("tom", true), ("jim",