windows环境下跑通spark streaming wordcount，先了解windows下的nc用法

最新推荐文章于 2023-05-11 10:04:40 发布
最新推荐文章于 2023-05-11 10:04:40 发布
阅读量4.9k 收藏 13
点赞数 6
分类专栏： 大数据技术 文章标签： netcat spark 技术细节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weitry/article/details/80392529
版权
本文介绍了在Windows系统下运行Spark Streaming的WordCount示例时遇到的问题及解决过程。通过使用netcat作为数据服务器，文章详细描述了如何下载、安装netcat，以及解决因命令行参数不兼容导致的错误。最终成功实现数据监听，并讨论了输入数据的实时显示问题。
摘要由CSDN通过智能技术生成

spark streaming官方教程有个NetworkWordCount例子，通过 TCP 套接字连接，从流数据中创建了一个 DStream，然后进行处理，时间窗口大小为10s 。
其中需要使用netcat作为数据数据服务器，window下执行：

nc -lk 9999

结果报“’nc’ 不是内部或外部命令，也不是可运行的程序或批处理文件。”
哦，没有安装netcat，于是

再次执行：nc -lk 9999，结果报“ nc: invalid option – k”
然后 nc -h 了一下，确实没有-k参数。我又在unix系统上nc -h了一下，确认是有-k参数的。
好吧，改成：

nc -l 9999

结果报“local listen fuxored: INVAL”
看样子win

最低0.47元/天 解锁文章
白水不开
关注
专栏目录
Spark 案例实操（Spark Streaming之WordCount）
qq_50678909的博客
12-15 2789
Spark Streaming 是什么 Spark Streaming 用于流式数据的处理。Spark Streaming 支持的数据输入源很多，例如：Kafka、 Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语 如：map、reduce、join、window 等进行运算。而结果也能保存在很多地方，如 HDFS，数据库等。和 Spark 基于 RDD 的概念很相似，Spark Streaming 使用离散化流(discretize
Windows系统下NC工具的使用
最新发布
2301_80679350的博客
06-11 1539
Ncat/nc是⼀个功能丰富的⽹络实⽤程序，可以从命令⾏跨⽹络读取和写⼊数据。Ncat是为Nmap项⽬编写的，是⽬前分散的Netcat版本系列的⾼潮。它旨在成为可靠的后端⼯具，可⽴即为其他应⽤程序和⽤户提供⽹络连接。我们在命令行输入 nc -h ,查看nc命令nc -h主要的命令有：-l：监听模式，用于入站连接-p <port>：设置本地主机使用的通信端口-s ：指定发送数据的源IP地址，适用于多网卡机-u： 指定nc使用UDP协议，默认为TCP-v：输出交互或出错信息。
在win10环境下运行spark streaming中的NetworkWordCount
学渣渣
09-03 670
NetworkWordCount 测试spark streaming wordcount，在学习streaming时候官方教程中有个NetworkWordCount栗子，通过TCP套接字连接，从流数据中创建一个DStream，然后进行处理，时间窗口自己定义，但是一般都是在linux中测试。因为我的spark环境搭建在win中，所以接下来将在win10系统中对其进行实现 首先通过scala在idea...
Spark Streaming（WordCount、Window、ForEachRDD练习）
Mogeko1的博客
05-11 413
Spark Streaming（WordCount、Window、ForEachRDD练习）
spark streaming-wordcount,累加统计，滑动和滚动窗口
weixin_48370579的博客
07-20 438
spark streaming WordCount案例 创建spark Streaming 环境，需要依赖Spark core 环境 创建spark streaming 环境，需要设置执行执行的间隔时间 * 1、读取实时的数据源 * 安装 * yum install nc * 启动socket服务 * nc -lk 8888 package c...
spark-streaming实现wordcount（详细步骤）
大数据
05-24 1328
一、命令行方式实现 1.1 创建目录logfile cd spark-3.1.1-bin-hadoop2.7/Test mkdir -p streaming/logfile 1.2 进入spark-shell cd cd spark-3.1.1-bin-hadoop2.7/bin/ spark-shell 1.3 命令行依次输入以下代码查看实验结果 import org.apache.spark._ import org.apache.spark.streamin.
Spark Streaming入门 - 从Socket接收数据 实现wordCount统计单词个数
小哇
08-12 458
功能概述 在158.158.4.49上运行nc -lk 9998,往9998端口发送数据 编写代码，实现wordCount,Spark Streaming消费TCP Server(158.158.4.49)发过来的实时数据 import org.apache.spark.api.java.StorageLevels; import org.apache.spark.api.java.function.FlatMapFunction; import org.apache.spark.api.java..
Spark Streaming实现WordCount
01-07
利用Spark Streaming实现WordCount 需求：监听某个端口上的网络数据，实时统计出现的不同单词个数。 1，需要安装一个nc工具：sudo yum install -y nc 2，执行指令：nc -lk 9999 -v import os #### 配置spark driver...
SparkStreaming之WordCount案例
01-07
使用 netcat 工具向 9999 端口不断的发送数据，通过 SparkStreaming 读取端口数据并统 计不同单词出现的次数 。 二、netcat操作 1、虚拟机中安装netcat [root@hadoop1 spark]# yum install -y nc 2、启动程序并发送...
windows环境下nc命令工具
03-06
windows环境下nc命令工具,netcat 1.11 for Win32/Win64
windows10环境下nc命令工具
08-01
windows环境下nc命令工具,netcat 1.11 for Win32/Win64
Windows10出现’telnet’ 不是内部或外部命令，也不是可运行的程序或批处理文件
01-09
Windows10出现’telnet’ 不是内部或外部命令，也不是可运行的程序或批处理文件 博客说明 文章所涉及的资料来自互联网整理和个人总结，意在于个人学习和经验汇总，如有什么地方侵权，请联系本人删除，谢谢！ 问题截图 问题原因 出现这个问题是因为我们的系统默认把telnet的功能关闭了，需要我们手动去打开 解决办法 首先我们进入控制面板 如果不知道怎么找，在下面的搜索控制面板就行了 进去之后我们打开程序管理 找到启动或关闭Window功能，然后找到我们的telnet，将它勾选上就好啦 测试 再次执行telnet命令就好啦 感谢 万能的网络 以及勤劳的自己 作者：归子莫
Spark Streaming、离线计算、实时计算、实时查询、Spark Streaming 原理、Spark Streaming WordCount、Spark Streaming 架构图...
赤兔胭脂小吕布的博客
03-13 246
目录Spark Streaming离线计算、实时计算、实时查询Spark Streaming 原理Spark Streaming WordCount1、导入依赖2、WordCount 示例Spark Streaming 架构图Spark Streaming spark 中 最重要的就是 spark core 和 spark sql (也就是之前笔记的内容) 离线计算、实时计算、实时查询 S...
sparkStreaming-WordCountDemo处理socket数据
无
06-06 244
步骤一：配置环境，特别注意虚拟机的hosts文件和window中的hosts文件，以及关闭防火墙     linux:   sudo vim /etc/hosts  添加ip到name的映射，从而让外网访问你时用name便可     window:   C:\Windows\System32\drivers\etc 将linux /etc/hosts 中的映射写进去,这用于在window上可以访问...
spark streaming 3.0.0 scala版本nc计算wordcount
liaomingwu的专栏
02-16 420
spark streaming scala版本wordcount
SparkStreaming通过nc -lk及读取本地文件进行Word Count
Mr_Bright的博客
12-21 389
maven依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> &l
01 SparkStreaming's WordCount
970655147的专栏
02-12 3412
前言最近因为要找工作了, 本身又想找spark方面的工作, 自己对于spark的graphX, mlLib方面的东西有一定的了解, 所以 最近想看看sparkStreaming相关的东西, 今天 就看了一下几天前找的几个播客[这都有十天了,过年几天一晃而过, 玩去了, 一回到正轨 感觉自己似乎退步了啊[是不是 以前对自己要求太严格了, so 不适应了..]..], 这篇播客对应的内容就是围绕这个Sp
Linux中nc的安装 测试 nc -lk 9999
qq_43617838的博客
03-29 4662
在Linux中有一个级强大的网络工具netcat，在默认情况下面都是没有安装的，现在介绍一下安装过程 其实安装很简单 只需输入命令: [root@SZB-L0032015 ~]# yum install -y nc 在一个终端上 输入: nc -lk 9999 socket closed解决办法(端口被占用) 进入DOS 1、netstat -ano 找到被占用的端口 PID; ...
windows本地sparkstreaming开发环境搭建及简单实例
06-28
### 回答1： Windows本地Spark Streaming开发环境搭建及简单实例： 1. 首先需要安装Java JDK和Scala，可以在官网上下载对应版本的安装包进行安装。 2. 下载Spark的二进制包，解压到本地目录。 3. 配置环境变量，将Spark的bin目录添加到PATH中。 4. 在本地启动Spark集群，可以使用以下命令： ``` spark-submit --class org.apache.spark.examples.streaming.NetworkWordCount --master local[2] %SPARK_HOME%\examples\jars\spark-examples_2.11-2.4.0.jar localhost 9999 ``` 这个命令会启动一个本地的Spark集群，并运行一个简单的Spark Streaming应用程序，它会从本地的9999端口接收数据，并对数据进行实时计算。 5. 在另一个命令行窗口中，使用以下命令向Spark Streaming应用程序发送数据： ``` nc -lk 9999 ``` 这个命令会启动一个本地的Netcat服务器，它会将输入的数据发送到9999端口。 6. 在Spark Streaming应用程序的控制台输出中，可以看到实时计算的结果。 以上就是在Windows本地搭建Spark Streaming开发环境及简单实例的步骤。 ### 回答2： 搭建windows本地Spark Streaming开发环境需要准备以下几个步骤： 一、安装Java 需要先安装Java作为Spark的运行环境，推荐安装Java8及以上的版本，可以通过官方网站下载安装包。 二、安装Spark 官方网站提供了Spark的下载地址，选择合适的版本进行下载，并解压缩到本地硬盘上。 三、安装Python 需要安装Python来运行Spark Streaming的示例程序，如果已经安装了Anaconda，则可以直接使用。 四、安装PySpark PySpark是Spark的Python版，需要用pip安装，安装命令： pip install pyspark 搭建好本地开发环境之后，可以编写Spark Streaming的简单示例程序。 首先，需要导入相应的库： from pyspark.streaming import StreamingContext from pyspark import SparkContext 接下来，定义StreamingContext，设置批次时间，Spark Streaming的数据输入源等： sc = SparkContext(appName="PythonStreamingQueueStream") ssc = StreamingContext(sc, 1) rddQueue = [] inputStream = ssc.queueStream(rddQueue) 接下来，可以定义数据处理函数，并对输入源进行处理： def process(time, rdd): print("========= %s =========" % str(time)) try: if not rdd.isEmpty(): count = rdd.count() print("Word count in this batch: ", count) except Exception as e: print(e) inputStream.foreachRDD(process) 最后，需要启动StreamingContext，并将输入源写入队列： ssc.start() for i in range(5): rddQueue.append(sc.parallelize(["hello world"] * 10)) time.sleep(1) ssc.stop(stopSparkContext=True, stopGraceFully=True) 以上就是简单的Spark Streaming示例程序，可以通过这个示例进一步了解Spark Streaming的开发环境搭建和基本的使用。 ### 回答3： Spark是一个快速、通用和可扩展的计算引擎，支持在线数据处理。Spark Streaming是Spark生态系统中的一个组件，允许对实时数据进行流式处理和分析。在本地环境下进行Spark Streaming开发需要进行如下步骤： 1. 安装Java JDK和Scala环境 Spark需要Java JDK和Scala环境来运行。可以从Oracle官方网站下载Java JDK，在Scala官方网站下载Scala环境。 2. 下载Spark并解压缩 从Spark官方网站下载Spark，并解压缩到本地目录。 3. 配置环境变量 在环境变量中配置SPARK_HOME、JAVA_HOME、SCALA_HOME和PATH变量，以便在命令行中启动Spark。 4. 编写Spark Streaming应用程序 可以使用Scala编写Spark Streaming应用程序。在Spark Streaming中，可以使用DStreams（离散流）来处理数据。 5. 运行Spark Streaming应用程序 使用命令行启动Spark Streaming应用程序，可以使用Spark submit命令。例如，可以使用以下命令启动应用程序： ``` $SPARK_HOME/bin/spark-submit --class com.example.MyApp myapp.jar ``` 其中“com.example.MyApp”是程序入口类，myapp.jar是打包后的应用程序包。 简单实例： 以下是使用Spark Streaming进行单词计数的示例： ```scala import org.apache.spark._ import org.apache.spark.streaming._ object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setAppName("WordCount") val ssc = new StreamingContext(conf, Seconds(1)) val lines = ssc.socketTextStream("localhost", 9999) val words = lines.flatMap(_.split(" ")) val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _) wordCounts.print() ssc.start() ssc.awaitTermination() } } ``` 该应用程序从本地套接字上读取数据流，并计算每个单词出现的次数。在命令行中可以使用以下命令启动该应用程序： ``` $SPARK_HOME/bin/spark-submit --class WordCount \ --master local[2] wordcount.jar localhost 9999 ``` 其中，--master local[2] 指定使用本地模式，并使用2个CPU核心。localhost 9999是要从上面读取数据的本地套接字。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值