SparkStreaming过滤黑名单数据简单案例

根据自己制定的规则，判断出黑名单ip，保存起来。

在后续产生的数据中，与黑名单数据进行比对，进行筛选。

import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.SparkSession
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.{Seconds, StreamingContext}

object BlackListDemo {
  def main(args: Array[String]): Unit = {
    //SparkSession
    val spark: SparkSession = SparkSession.builder()
      .appName(BlackListDemo.getClass.getSimpleName)
      .master("local[*]")
      .getOrCreate()
    val sc: SparkContext = spark.sparkContext
    val ssc: StreamingContext = new StreamingContext(sc, Seconds(2))
    //核心步骤：
    //①指定黑名单，并封装到RDD中
    //这里只是一个简单的模拟黑名单数据，真实环境下是从别的地方读取的
    val blackListRDD: RDD[(String, String)] = sc.parallelize(Seq(("27.19.74.143", ""), ("110.52.250.126", "")))
    //Exception in thread "main" java.