SparkStreaming之socketTextStream遇到的一些小问题

最新推荐文章于 2022-06-07 11:02:54 发布

成程晨

最新推荐文章于 2022-06-07 11:02:54 发布

阅读量4.3k

点赞数

分类专栏： Spark 文章标签： SparkStreaming

本文链接：https://blog.csdn.net/smart_ferry/article/details/90643877

版权

本文档详细记录了在使用SparkStreaming的socketTextStream时遇到的两个问题及其解决方案。问题一是nc命令默认只能建立单个连接，通过添加-k参数支持多连接；问题二是socketFileStream不会监听端口，而需要主动发送数据到指定端口。最终，通过正确操作顺序和理解socket工作原理，成功实现了数据流的传输。

摘要由CSDN通过智能技术生成

实验环境

主机名	IP	操作系统
host1	192.168.110.1	Windows
host2	192.168.110.13	Linux

实验准备

首先在host2上使用nc命令打开端口7777，之后在host1上运行代码

实验代码

import org.apache.spark._
import org.apache.spark.streaming._

object Test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[*]").setAppName("no_name")
    val ssc = new StreamingContext(conf, Seconds(5))
    val lines = ssc.socketTextStream("192.168.110.13", 7777)
    // 将流的内容原封不动打印
    if (lines != null) {
      lines.print()
      println("start!")
    }
    ssc.start()
    ssc.awaitTermination()
  }
}