[Spark streaming举例]-- 版本的单词统计

最新推荐文章于 2024-06-02 01:46:30 发布

往事随风ing

最新推荐文章于 2024-06-02 01:46:30 发布

阅读量938

点赞数 1

分类专栏： Spark 文章标签： spark scala

本文链接：https://blog.csdn.net/high2011/article/details/51585488

版权

Spark 专栏收录该内容

133 篇文章 10 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文通过实例展示了如何使用Spark Streaming进行版本的单词统计。通过代码和注释详细解释了流程和关键点。

摘要由CSDN通过智能技术生成

直接上代码、注释

package com.scala.my


import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Duration
import org.apache.spark.streaming.Durations
/**
 * spark streaming 版本的单词统计(通过监听端口)
 * 1\在 hh15上执行 ：yum install nc 安装工具nc
 * 第一种本地测试的步骤：
 *     2\在hh15上启动端口：#nc -lk 8888
 *     3\在本地eclipse上run程序
 *     4\在hh15上的dos界面中输入单词，输入的时间要在Durations.seconds(10)的范围内
 *     5\在eclipse界面查看是否成功
 * 第二种服务器上测试的步骤：
 *     2\开启spark集群：(1)启动zookeeeper  (2)在hh15上的spark的sbin下启动spark集群---》#sh start-all.sh
 *     3\在hh15上开启端口：#nc -lk 8888
 *     4\将WordCount.java类打成jar包（sparkStreamWordCount.jar&#x

了解本专栏