使用的自带词频统计例子的地址NetworkWordCount.scala
spark-submit执行
打开9999端口
nc -lk 9999
控制台进入bin目录
cd /app/spark/spark-2.2.0-bin-2.9.0/bin
./spark-submit --master local[2] --class org.apache.spark.examples.streaming.NetworkWordCount --name NetworkWordCount /app/spark/spark-2.2.0-bin-2.9.0/examples/jars/spark-examples_2.11-2.2.0.jar node1 9999
参数介绍
--master指定是本地运行还是集群yarn、mesos
--class 运行的主类
--name 应用名称在UI中会显示
最后是指定的jar包,因为我们直接用的spark自带的词频统计例子,需要指定该例子的jar包
node1 9999:因为这个例子用的是网络数据,需要指定数据的接收端口
在nc -lk 9999中输入a a a a b b
查看spark
spark-shell执行(测试时可用这种方法)
cd /app/spark/spark-2.2.0-bin-2.9.0/bin
./spark-shell --master local[2]
输入
import org.apache.spark.streaming.{Seconds, StreamingContext}
val ssc = new StreamingContext(sc, Seconds(1))
val lines = ssc.socketTextStream("node1", 9999)
val words = lines.flatMap(_.split(" "))
val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
wordCounts.print()
ssc.start()
ssc.awaitTermination()