Spark Streaming实时处理TCP Sockets数据流

最新推荐文章于 2023-03-20 14:00:38 发布

妄念驱动

最新推荐文章于 2023-03-20 14:00:38 发布

阅读量743

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/hx2017/article/details/78153132

版权

本文档介绍了如何使用Spark Streaming从TCP Sockets接收实时数据流。首先，构建了一个模拟器生成网络数据，然后在Spark Streaming应用程序中，以集群模式在node01上运行，每5秒统计从node02的9999端口接收到的文本数据流中的单词计数。模拟器和分析器被打包并部署到相应节点，确保了所有必要的依赖项。模拟器每秒在指定端口发送数据，而Spark Streaming程序则对其进行处理。

摘要由CSDN通过智能技术生成

1.构建模拟器，模拟网络环境下的数据流；
2.编辑Spark Streaming应用程序，在node01提交以集群模式运行，获取node02上端口9999中的文本数据流，并每隔5s对数据流中各单词的个数进行统计。

演示文档

//*******************模拟器******************
package spark

import java.io.{PrintWriter}
import java.net.ServerSocket
import java.util.Random
import scala.io.Source

object SocketSimulation {
   
  //随机抓取文档中的数据，在设置的端口输出
  def index(length: Int)={
    val rdm = new Random
    rdm.nextInt(length)
  }

  def main(args:Array[String]): Unit ={
    if(args.length!=3){
      System.err.println("Usage:<filename> <port> <millisecond>")
      System.exit(1)
    }

    val filename = args(