IDEA实现从Socket 实时（近实时）读取数据的WordCount

最新推荐文章于 2023-04-26 00:00:00 发布

逃跑的沙丁鱼

最新推荐文章于 2023-04-26 00:00:00 发布

阅读量928

点赞数

文章标签： sparkstreaming 准实时批次计算 socket 数据输入 idea本地调试

本文链接：https://blog.csdn.net/m0_37813354/article/details/96356576

版权

一， intellij idea 本地执行SparkStreaming代码

1 用intellij idea 创建自己的项目resources导入hdfs-site.xml 和 core-site.xml

2 贷出模式实现的SparkStreaming代码进行实时wordcount 统计

代码如下：

package ezr.bigdata.spark.hive.job2

import org.apache.spark.streaming.dstream.ReceiverInputDStream
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}

/**
  * 基于scala语言的才出模式，是编写spark的编程模板
  *  1. 贷出函数，一般写在main函数之前
  *  2. 用户函数，一般写在main函数之后
 *
  * @author liuchangfu@easyretailpro.com
  *         2019/7/17. 
  */
object WordCountStreaming {
  def sparkOperation(args:Array[String])(operat