SparkStreaming-编写程序实例

1.IDEA编写程序

        案例所需的pom.xml依赖：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>${spark.version}</version>
    <scope>provided</scope>
</dependency>

        主代码：

package chapter5
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    //SparkStreaming程序入口
    val conf: SparkConf = new SparkConf().setAppName("wordcount").setMaster("local[*]")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    val ssc: StreamingContext = new StreamingContext(sc, Seconds(5))
    //接收数据,socketTextStream第一个参数是数据源，第二个参数是自定义端口号，和数据源中的对应上即可
    val data: ReceiverInputDStream[String] = ssc.socketTextStream("hadoop101", 9999)
    //按照分隔符进行切分
    val spliFile: DStream[String] = data.flatMap(_.split(" "))
    //将每个单词记为1
    val wordAndOne: DStream[(String, Int)] = spliFile.map((_, 1))
    //聚合单词
    val wordAndCount: DStream[(String, Int)] = wordAndOne.reduceByKey(_ + _)
    //打印输出
    wordAndCount.print()
    //开启SparkStreaming
    ssc.start()
    //让程序一直处于接收状态，等待关闭
    ssc.awaitTermination()
  }
}

结果放在下边。

        此时打开虚拟机，如果第一次使用，需要安装命令：yum install -y nc。安装完成后执行命令，并开始传数据：

        此时，IDEA中执行主方法，控制台开始接收数据状态：

         当hadoop101节点开始出现数据时，主方法会自动捕捉：

 2.服务器运行实时jar包

        将上边写好的主方法，在maven中clean和package打包（记得在pom文件<mainclass>中改成运行的方法名），从IDEA项目列表列表中找到target文件夹，找到打好的包，放在桌面，再上传到服务器上（在集群中启动spark服务），接着nc -lk 9999命令。

        主方法中要：

        再打开一个窗口执行：

         成功后的界面和上面一样：

         在这里传输数据：