用spark streaming实现黑名单实时过滤

项目介绍：

本项目用spark streaming实现简单的黑名单实时过滤，用scala语言编写，用到的知识点如下：

1.RDD,弹性分布式数据集

2.ssc.socketTextStream("localhost",9999),利用socketTextStream接口编程，监控端口数据

3.leftOuterJoin

4.transform函数使用

5.  nc -lkv 9999

项目步骤：

1.起动spark

spark-shell 2>spark-shell-debug.log

错误信息直接直接输出到spark-shell-debug.log日志中

2.导入依赖

import org.apache.spark.SparkConf
import org.apache.spark.streaming.SparkContext
import org.apache.spark.streaming.Seconds

3.创建streamingContext

val ssc=new StreamingContext(sc,Seconds(8))

4.创建黑名单数组

val b1=Array(("peter",true),("t