使用idea编写Spark Streaming_WordCount

最新推荐文章于 2023-01-09 10:14:22 发布

a大数据yyds

最新推荐文章于 2023-01-09 10:14:22 发布

阅读量1.2k

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/qq_45765882/article/details/105563034

版权

本文介绍如何在Linux环境下使用IntelliJ IDEA编写Spark Streaming应用，通过nc工具发送数据到9999端口，实现WordCount功能。代码中详细展示了创建StreamingContext，监听Socket数据，数据处理及打印输出的步骤。每5秒，Spark Streaming计算并输出一次单词计数结果。

摘要由CSDN通过智能技术生成

需求&准备
图解：

首先在linux服务器上安装nc工具
nc是netcat的简称，原本是用来设置路由器,我们可以利用它向某个端口发送数据
yum install -y nc
启动一个服务端并开放9999端口,等一下往这个端口发数据
==nc -lk 9999 ==
发送数据
代码演示：

package cn.itcast.streaming
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.streaming.{Seconds, StreamingContext}
object WordCount {
def main(args: Array[String]): Unit = {
//1.创建StreamingContext
//spark.master should be set as local[n], n > 1
val conf = new SparkConf().setAppName(“wc”).setMaster(“local[*]”)
val sc = new SparkContext(conf)
sc.setLogLevel(“WARN”)
val ssc = new StreamingContext(sc,Seco