1、创建SparkContext
val conf:SparkConf = new SparkConf().setAppName("streamwc")
.setMaster("local[2]")
val sc:SparkContext = new SparkContext(conf)
2、创建StreamingContext
val ssc:StreamingContext = new StreamingContext(sc,Milliseconds(2000))
3、创建Dstream,接入数据源
val datas: ReceiverInputDStream[String] =
ssc.socketTextStream("192.168.252.121",7788)
4、进行计算
val rd:Dstream[(String,Int)]datas.flatMap(_.split(" ")),map(_,1).reduceByKey(_+_)
5、打印结果
rd.print()
6、启动sparkStreaming程序
ssc.start()
ssc.awaitTermination()
在服务器端linux安装nc
nc -lk 7788
输入数据就可以实时计算