SparkStreaming构建黑名单以及SparkStreaming整合SparkSQL(transform和foreachRDD)

 构建黑名单

注：生产环境时将.setMaster("local[2]").setAppName("BlackListList")删掉

val SparkConf=new SparkConf().setMaster("local[2]").setAppName("BlackListList")
val ssc=new StreamingContext(SparkConf,Seconds(5))
/*构建黑名单*/
val blacks=List("zs","ls")
//将黑名单中每个转成 一个元组，第一个是自己，第二个是true
//(zs,true)
val blacksRDD=ssc.sparkContext.parallelize(black).map(x=>(x,true))

val lines=ssc.socketTextStream("localhost",6789)
//传入信息取出作为元组，第一个是名字，第二个是完整信息
//transtrom将RDD转为DStream
val cliskLog=lines.map(x=>(x.split(",")(1),x)).transfrom(rdd=>{
  rdd.leftOutJoin(blackRDD)
    //第二位里面的第二位，拿不到就是false
    .filter(x=>x._2._2.getOrElse(false)！&#