SparkStreaming中的wordcount文本分词实时统计

最新推荐文章于 2024-05-06 08:39:42 发布
最新推荐文章于 2024-05-06 08:39:42 发布
阅读量700 收藏 4
点赞数 1
文章标签： 大数据 spark ubuntu netcat socket
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/syan_1_3_1_4/article/details/107635635
版权

SparkStreaming中的wordcount文本分词实时统计

Spark Streaming从数据源接收实时数据流并将数据分成若干批，然后由spark引擎进行处理，最终批量生成结果流。

终端A中

启动spark
($SPARK_HOME/sbin下操作，即spark解缩包下的sbin目录里)

注：如果你不想每次都进入这个目录去执行这个文件，那你可以选择设置临时环境或永久性环境。设置方法请看Ubuntu中设置PATH变量值

start-spark.sh

在这里插入图片描述
查看进程（输入jps查看是否有Worker和Master进程）
在这里插入图片描述
启动pyspark
（$SPARK_HOME/sbin下操作，即spark解压目录下的bin中启动）

注：如果你不想每次都进入这个目录去执行这个文件，那你可以选择设置临时环境或永久性环境。设置方法请看Ubuntu中设置PATH变量值

// syan改为相应的主机名
pyspark --master spark://syan:7077

在这里插入图片描述
在pyspark控制台上导入相应的包

from pyspark import SparkContext
from pyspark.streaming import StreamingContext

在这里插入图片描述
创建SparkContext对象
注：要是这边创建报错了，可以试试sc.stop()再重新创建sc

// syan改为相应的主机名,SparkStreaming是自定义的程序名字
sc = SparkContext('spark://syan:7077','SparkStreaming')

在这里插入图片描述
生成流计算上下文，30秒计算/批处理一次

ssc = StreamingContext(sc,30)

在这里插入图片描述
绑定数据端口9999（从socker中获取数据，即获取数据）

// IP对应自己的地址，9999是监听端口
lines = ssc.socketTextStream("IP地址",9999)

在这里插入图片描述
解析单词出现的频率

counts = lines.flatMap(lambda line:line.split(" ")).map(lambda word:(word,1)).reduceByKey(lambda a,b:a+b)

在这里插入图片描述
打印输出到控制台

counts.pprint()

在这里插入图片描述
执行程序

ssc.start();ssc.awaitTermination()

在这里插入图片描述

终端B中

开另一个终端安装netcat（在没有安装netcat的前提下）
$ sudo apt-get -y install netcat-traditional

安装完成后启动netcat（在终端shell中运行）

// 这个9999是刚才设置的监听端口
nc -l -p 9999

直接回车后从键盘中随意输入数据即可(每次回车就会提交)

// 这是我随意输入的文本
we are introduced to the narrator, a pilot, and his ideas about grown-ups
Once when I was six years old I saw a magnificent picture on a book
hellow
word
spark
course

在这里插入图片描述
然后你可以每输一段回终端A中看看

输入相应的测试文本后按回车键就会将数据发送到spark应用的监听端口中，spark流每30秒执行一次计算，计算结果和日志打印如下图（转回到pyspark执行界面，即终端A）
在这里插入图片描述
在这里插入图片描述

氓酒
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
windows下 spark structed streaming 词频统计
赴前尘
10-09 294
前提：已安装并成功配置spark(单节点), 已安装配置完成netcat（博客：https://blog.csdn.net/qq_36940806/article/details/102290470） 1.cmd 进入命令行窗口，执行 spark-shell 2.cmd打开另一个命令行窗口 输入 nc -l -p 7777监听7777端口 3.第一个命令行窗口下执行下列sca...
Spark Streaming入门 - 从Socket接收数据 实现wordCount统计单词个数
小哇
08-12 423
功能概述 在158.158.4.49上运行nc -lk 9998,往9998端口发送数据 编写代码，实现wordCount,Spark Streaming消费TCP Server(158.158.4.49)发过来的实时数据 import org.apache.spark.api.java.StorageLevels; import org.apache.spark.api.java.function.FlatMapFunction; import org.apache.spark.api.java..
Spark快速上手-WordCount案例
最新发布
a369966697的博客
05-06 752
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
SparkStreaming实时计算单词统计
CSDN_Hzx的博客
07-24 908
注意:先开启程序之后再将要统计的文本文档放入input目录下 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object WordCountByHDFS { def main(args: Array[String]): Unit = { ...
Spark Streaming 实现数据实时统计案例
weixin_34186128的博客
08-02 1193
Spark 是一个基于内存式的分布式计算框架。具有高性能，高效可扩展，容错等优点。今天讲解一下spark的流计算，其实它也不完全是实时的流计算，算是一种准实时的流计算。上图讲解运行环境:需要linux环境下的spark环境本例用的centOS 6.5x64 因为需要使用TCP协议传输数据，所以需要安装一个nc插件。安装方式: yum install ncxxx 或者挂载光盘...
Spark Streaming从Kafka中获取数据，并进行实时单词统计，统计URL出现的次数
涂作权的博客
07-13 6940
1、创建Maven项目创建的过程参考：http://blog.csdn.net/tototuzuoquan/article/details/745713742、启动KafkaA:安装kafka集群：http://blog.csdn.net/tototuzuoquan/article/details/73430874 B:创建topic等：http://blog.csdn.net/tototuzuo
Stata：时间断点回归RDD的几个要点
Stata连享会
07-25 3508
原文链接：https://www.lianxh.cn/news/56cc4fa415482.html 目录 1. 时间断点的特点 2. 三个可能陷阱 2.1 样本量问题 2.2 时序特征 2.3 假设检验问题 3. 时间断点与其他断点回归设计的区别 4. 建议 5. 参考文献 连享会 RDD 专题文章： 连享会·断点回归·专题 Stata：断点回归 RDD 简明教程 Stata: 断点回归 (RDD) 中的平滑性检验 RDD: 断点回归的非参数估计及Stata实现
Spark Streaming实现WordCount
01-07
利用Spark Streaming实现WordCount 需求：监听某个端口上的网络数据，实时统计出现的不同单词个数。 1，需要安装一个nc工具：sudo yum install -y nc 2，执行指令：nc -lk 9999 -v import os #### 配置spark driver...
SparkStreaming之WordCount案例
01-07
使用 netcat 工具向 9999 端口不断的发送数据，通过 SparkStreaming 读取端口数据并统 计不同单词出现的次数 。 二、netcat操作 1、虚拟机中安装netcat [root@hadoop1 spark]# yum install -y nc 2、启动程序并发送...
使用spark 对文本分词统计
08-10
标题中的“使用Spark对文本分词统计”是指利用Apache Spark这一大数据处理框架，对大量文本数据进行分词并统计分析的过程。在这个过程中，Spark扮演了并行计算和分布式处理的角色，提高了数据分析的效率。而“分词”...
spark框架中wordcount的scala实现
05-18
scala语言和python一样都是交互式的语言，操作简单。这是wordcount的scala实现，简单明了，比java实现简单很多，希望对大家有所帮助
WordCount分词/ecplise
10-29
WordCount 分词算法我使用eclipse开发，一共有三个类WCJob.class、WCMapper.class、WCReduce.class。WCMapper.class对上传的数据进行筛选，比方说用空格间隔，而WCReduce.class在对筛选后的词进行累加。算法很简单~直接上代码。
Spark 最简单WordCount
05-15
**Spark 最简单WordCount** Spark是一款高性能的分布式计算框架，主要设计用于大数据处理。它提供了弹性分布式数据集（RDD）的概念，这是一种可分区、容错且可以并行操作的数据结构。在Spark中，我们可以通过Scala...
Spark学习实例(Python)：单词统计 Word Count
厚积薄发
07-16 4976
我们从学习一门新语言如C、Java、Python等基本都是从"Hello World"开始的，而这里的WordCount类似于"Hello World"，该实例的功能是统计各个单词出现的次数，比如随意给你一份政府报告找出政府工作重点内容，那么就可以通过单词统计来完成，排除掉那些语气词(啊、的、是等等)出现词的频率越高代表着政府越重视。 本文是基于Pyhon的Spark Local来进行，因此需要...
Spark Streaming单词统计操作
weixin_66087662的博客
04-23 805
解决方法：①在slave1 8888端口上（nc -l 8888）输入数据，运行就不会报错，要是没有安装nc要使用命令 yum install -y nc安装在进行操作。②端口号没有写对Spark默认的HDFS端口与Hadoop中core.site.xml配置一样的端口号都是9000，所以启动连接到master节点HDFS中端口号为9000。
基于spark stream WordCount词频统计
wulin_9的专栏
09-22 630
1.实验背景 Spark Streaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。 本次实验主要通过通过Socket端口监听并接收数据，然后时统计输入的单词数量。 实..
Spark Streaming概述
m0_67806453的博客
06-20 725
目录一，spark Streaming概述（一）什么是Spark streaming（二）Sparing Streaming的主要特点1，易于使用2，易于与Spark体系整合二，Spark Streaming工具原理（一）Spark Streaming工作流程图 （二）分段流 - DSteam （Discretized Stream）1，分段流的概念 2，分段流的实质 4,分段流的操作 （三）输入DStream与Receiver1，输入DStream与Receiver的关系2，本地运行Spark Strea
使用SparkStreaming实现词频累加统计
懵懂bigdata象
11-17 2999
使用SparkStreaming实现词频累加统计一、实验环境二、需求分析三、实验环境准备四、编程实现1、编写代码2、启动nc，并输入测试数据3、执行SparkStreaming程序4、执行结果5、查看结果数据是否存储到hadoop集群的hdfs上四、实验结果 一、实验环境 Windows10+centos7+idea+spark+nc 二、需求分析 在服务端不断的产生数据，在SparkStreaming客户端持续统计服务端产生的单词的词频的总数 三、实验环境准备 1、启动hadoop集群 分别启动hdfs和
Spark Streaming实时处理
zhz的博客
06-13 2106
Spark Streaming实时处理 实验内容 ​ 在本地或HDFS新建一个测试目录，编写一个简单程序，每随机间隔若干秒（5s以内）在该目录下新建一个文件，并写入若干行内容（每一行包含若干单词，单词之间以空格分隔）。现利用Spark Streaming分别完成如下单词统计： （1）实时统计每10s新出现的单词数量（每10s统计1次）； （2）实时统计最近1分钟内每个单词的出现次数（每10s统计1次）； （3）实时统计每个单词的累积出现次数，并将结果保存到本地文件（每10s统计1次） 实验步骤 创建文件流
spark练习之通过spark streaming实时计算wordcount程序
06-28
### 回答1： 通过Spark Streaming实时计算WordCount程序，可以实现对实时数据流的实时处理和分析。具体步骤如下： 1. 创建Spark Streaming上下文，设置批处理时间间隔。 2. 从数据源中读取实时数据流，如Kafka、Flume、Socket等。 3. 对数据流进行处理，如过滤、转换等操作。 4. 对处理后的数据进行分析，如统计词频等。 5. 将分析结果输出到外部存储系统，如HDFS、MySQL等。 下面是一个简单的Spark Streaming实时计算WordCount程序示例： ```python from pyspark import SparkContext from pyspark.streaming import StreamingContext # 创建Spark Streaming上下文，设置批处理时间间隔为5秒 sc = SparkContext("local[2]", "WordCount") ssc = StreamingContext(sc, 5) # 从本地socket读取实时数据流 lines = ssc.socketTextStream("localhost", 9999) # 对数据流进行处理，按空格分割每行数据 words = lines.flatMap(lambda line: line.split(" ")) # 对处理后的数据进行分析，统计词频 wordCounts = words.map(lambda word: (word, 1)).reduceByKey(lambda x, y: x + y) # 输出分析结果到控制台 wordCounts.pprint() # 启动Spark Streaming应用程序 ssc.start() # 等待应用程序终止 ssc.awaitTermination() ``` 在运行该程序之前，需要先启动一个本地socket服务，监听9999端口，将实时数据流发送到该端口。可以使用以下命令启动socket服务： ```bash nc -lk 9999 ``` 然后在控制台输入一些文本，程序将实时计算词频并输出到控制台。 ### 回答2： Spark Streaming是Spark生态系统中的一种实时数据处理框架，它可以实现以批处理方式处理数据流。Spark Streaming通过周期性地将实时数据流分割为批次，使得Spark可以基于批次进行处理。 这里我们来通过一个wordcount程序来介绍如何使用Spark Streaming进行实时计算。 首先，我们需要创建一个StreamingContext对象，指定数据处理批次的时间间隔。代码如下所示： ``` from pyspark.streaming import StreamingContext ssc = StreamingContext(sparkContext, 1) ``` 由于我们是基于Spark来处理数据流，因此还需要创建一个SparkContext对象。参数1指定每个批次的时间间隔为1秒。 接着，我们需要指定数据流的来源，这里我们使用一个TCP连接来模拟一个数据流输入源。代码如下： ``` lines = ssc.socketTextStream("localhost", 9999) ``` 以上代码表示从本地主机的9999端口获取数据输入流。 最后，我们需要应用数据转换操作和聚合操作来计算每个单词在数据流中出现的次数。代码如下所示： ``` words = lines.flatMap(lambda line: line.split(" ")) wordCounts = words.map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b) wordCounts.pprint() ``` 以上代码中，首先我们使用flatMap将每行数据分割成单词，然后使用map将每个单词转换成(word, 1)的键值对，最后使用reduceByKey进行聚合操作计算每个单词出现的次数。 最后，我们需要启动StreamingContext对象并让它开始处理数据流。代码如下所示： ``` ssc.start() ssc.awaitTermination() ``` 以上代码中，start()方法启动流处理程序，awaitTermination()方法阻塞当前线程，直到流处理程序被停止。 总之，Spark Streaming是一种非常强大的实时大数据处理框架，它可以应用于多种实时数据处理场合，而我们所介绍的基于Spark Streaming实时计算wordcount程序只是Spark Streaming的冰山一角，随着对Spark Streaming的深入学习和实践，我们可以掌握更多高级的数据处理技术，让我们的工作变得更加高效和便捷。 ### 回答3： Spark是一款高性能、分布式计算框架，适用于大规模数据处理。Spark Streaming则是其扩展库之一，使得Spark能够实现实时计算。它是一个小批量处理引擎，将数据分解成一系列的离散流来进行处理，能够完成一些实时计算任务，比如实时计算wordcount程序。 在Spark Streaming中，流数据以DStream（即离散化数据流）的形式表示，可以与RDD相似地进行操作。通过实时获取数据源（如kafka、Flume、Twitter、Socket等），Spark Streaming可以将数据流转换为DStream，然后进行批量计算，最终将结果输出到外部存储器或控制台。因此，我们可以利用Spark Streaming的API编写一个wordcount程序。 首先，我们需要创建一个StreamingContext对象，指定批处理时间间隔，例如2秒。接着，我们可以创建一个DStream对象，使用socketTextStream方法从本地端口接收流数据。代码示例： ```python from pyspark.streaming import StreamingContext ssc = StreamingContext(sparkContext, 2) lines = ssc.socketTextStream("localhost", 9999) ``` 然后，我们可以按照空格切分每行数据，并使用flatMap生成一个包含所有单词的新DStream。接着，使用mapToPair方法将每个单词映射到一个键值对，其中键为单词本身，值为1。最后，使用reduceByKey方法对每个单词的计数进行求和。代码示例： ```python words = lines.flatMap(lambda line: line.split(" ")) pairs = words.map(lambda word: (word, 1)) wordCounts = pairs.reduceByKey(lambda x, y: x + y) ``` 最后，我们可以调用print方法输出每个批次计算的结果，启动StreamingContext并等待程序运行。代码示例： ```python wordCounts.pprint() ssc.start() ssc.awaitTermination() ``` 通过这个wordcount程序的实现，我们可以了解到使用Spark Streaming实时计算时的基本流程。在实际生产环境中，我们需要考虑更多的问题，比如并行计算、故障容错等方面，来确保计算的准确性和稳定性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值