Spark流编程指引(二)----------------------一个快速的例子

最新推荐文章于 2021-02-21 16:16:32 发布

self-motivation

最新推荐文章于 2021-02-21 16:16:32 发布

阅读量1.8k

点赞数

分类专栏：大数据文章标签： hadoop spark 大数据分布式 spark scala batch

本文链接：https://blog.csdn.net/happyAnger6/article/details/46669765

版权

大数据专栏收录该内容

22 篇文章 0 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文提供了一个简单的Spark Streaming程序例子，演示如何计算从TCP数据服务器接收的文本数据中的单词数。首先导入必要的Spark Streaming库，创建StreamingContext，接着设置TCP源，通过flatMap和reduceByKey操作计算单词数。最后，启动并运行Spark Streaming程序。

摘要由CSDN通过智能技术生成

在详细地学习如何写自己的Spark Streaming程序之前，我们先来快速地看一个简单的Spark Streaming程序的例子。我们现在要计算从一个TCP数据服务器接收到的文本数据中单词的个数。我需要向下面这样去做：

首先,导入Spark Streaming的类；再导入一些StreamingContext的隐式转换，来增加来自其它类（比如DStream）的有用方法。StreamingContext是所有streaming功能的主入口点。我们以两个执行线程和1s的执行间隔来创建一个本地的StreamingContext。

import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext._ // not necessary in Spark 1.3+

// Create a local StreamingContext with two working thread