SparkStreaming+Kafka 实现基于缓存的实时wordcount程序

已于 2023-02-07 15:22:52 修改
阅读量1.7k 收藏 8
点赞数 2
分类专栏： SparkStreaming kafka Spark 文章标签： SparkStreaming kafka spark
于 2018-06-25 09:44:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/80797535
版权
Spark 同时被 3 个专栏收录
76 篇文章 8 订阅 ¥49.90 ¥99.00
订阅专栏 超级会员免费看
kafka
8 篇文章 1 订阅
订阅专栏
SparkStreaming
4 篇文章 0 订阅
订阅专栏
本文介绍了如何使用SparkStreaming和Kafka实现基于缓存的实时wordcount程序，通过updateStateByKey算子实现历史数据累加。文章详细讲述了从数据准备、Kafka主题创建、checkpoint目录设定、Spark代码编写到数据生产和最终结果展示的全过程。
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

本文利用SparkStreaming和Kafka实现基于缓存的实时wordcount程序，什么意思呢，因为一般的SparkStreaming的wordcount程序比如官网上的，只能统计最新时间间隔内的每个单词的数量，而不能将历史的累加起来，本文是看了教程之后，自己实现了一下kafka的程序，记录在这里。其实没什么难度，只是用了一个updateStateByKey算子就能实现，因为第一次用这个算子，所以正好学习一下。

1、数据

数据是我随机在kafka里生产的几条，单词以空格区分开

2、kafka topic

首先在kafka建一个程序用到topic:UpdateStateBykeyWordCount

bin/kafka-topics.sh --create
了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
SparkStreaming+Kafka 实现统计基于缓存的实时uv
主要分享大数据相关的知识，如Spark、Hudi
07-06 4424
转载请务必注明原创地址为：https://dongkelun.com/2018/06/25/KafkaUV/ 前言 本文利用SparkStreaming+Kafka实现实时的统计uv，即独立访客，一个用户一天内访问多次算一次，这个看起来要对用户去重，其实只要按照WordCount的思路，最后输出key的数量即可，所以可以利用SparkStreaming+Kafka 实现基于缓存的实时wordc...
Spark 案例实操（Spark Streaming之WordCount）
qq_50678909的博客
12-15 2788
Spark Streaming 是什么 Spark Streaming 用于流式数据的处理。Spark Streaming 支持的数据输入源很多，例如：Kafka、 Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语 如：map、reduce、join、window 等进行运算。而结果也能保存在很多地方，如 HDFS，数据库等。和 Spark 基于 RDD 的概念很相似，Spark Streaming 使用离散化流(discretize
Spark Streaming 实现 word count
我玩的很开心的博客
10-23 1467
Spark Streaming 实现 word count一、一个输入源端口对应一个receiver1.1 数据源端口1.2 spark streaming 接收处理数据二、两个输入源端口对应一个receiver2.1 测试源端口 一、一个输入源端口对应一个receiver 1.1 数据源端口 使用网络猫作为数据的输入源端口 下载网络猫： linux命令行执行： yum install -y nc 使用测试端口： 9999 nc -lk 9999 1.2 spark streaming 接收处理数据 这
SparkStreaming 实现入门WordCount
@羲凡—只为更好的活着
02-28 366
@羲凡——只为了更好的活着 SparkStreaming 实现入门WordCount 这是SparkStreaming的基本入门，官网：http://spark.apache.org/docs/2.3.2/streaming-programming-guide.html#a-quick-example 代码如下，在执行前在 deptest22上输入命令 nc -lk 9999。 import or...
spark streaming 实现接收网络传输数据进行WordCount功能
weixin_30244889的博客
02-09 127
package iie.udps.example.operator.spark; import scala.Tuple2; import org.apache.spark.SparkConf; import org.apache.spark.api.java.function.FlatMapFunction; import org.apache.spark.api.java.f...
SparkStreaming 的WordCount实例
RJSong
03-19 631
1、先检查IDEA中是否安装Scala插件，若无，则先安装。     2、新建一个Maven工程      3、引入依赖     4、把java改成scala     5、新建一个Scala类          6、WordCount类     7、启动hadoop、Spark，使用 nc -lk 9999命令监听9999端口          ...
基于Python的Spark Streaming+Kafka编程实践
热门推荐
不积跬步，无以至千里；不积小流，无以成江海！
01-05 2万+
说明Spark Streaming的原理说明的文章很多，这里不做介绍。本文主要介绍使用Kafka作为数据源的编程模型,编码实践,以及一些优化说明 spark streaming:http://spark.apache.org/docs/1.6.0/streaming-programming-guide.html streaming-kafka-integration:http://sp
Spark Streaming之实时wordcount程序实战
威少（微笑）
06-27 252
目录 一：与核心Spark Core 编程的不同 二：Spark Streaming 与 Storm 模型的区别 三：编码实战 一：与核心Spark Core 编程的不同 //Master 中 新增的线程号 //Durations: 设置 Context 对象时新增 batch interval 参数 //基本RDD对象的封装 //正式的启动方法，并不是 action操作进行...
sparkstreaming sparkstreaming与kafka整合（两种receiver方式）
a3125504x的博客
09-09 607
sparkstreaming两种receiver方式sparkstreaming语义sparkstreaming整合kafka的两种方式Receiver-based ApproachDirect Approach (No Receivers)Direct Approach下sparkstreaming整合kafka0.8Direct Approach下sparkstreaming整合kafka1.0 sparkstreaming语义 sparkstreaming有三种语义 At most once 一
Spark Streaming实现WordCount
01-07
利用Spark Streaming实现WordCount 需求：监听某个端口上的网络数据，实时统计出现的不同单词个数。 1，需要安装一个nc工具：sudo yum install -y nc 2，执行指令：nc -lk 9999 -v import os #### 配置spark driver和pyspark运行时，所使用的python解释器路径 PYSPARK_PYTHON = # pyspark 路径 JAVA_HOME=' ' # java 路径 SPARK_HOME = # spark 路径 #### 当存在多个版本时，不指定很可能会导致出错 os.e
Spark Streaming版WordCount实现
FlatTiger的博客
03-30 566
导入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.1.1</version> </dependency> 代码实现 def main(args: Array[String]): Unit = { //配置文件对象
SparkStreaming------实现简单的wordcount
洛云凡
11-05 1083
每五秒计算一次mini1:8888（mini1是虚拟机ip映射名称）收到的数据 可以用nc命令模拟产生数据： 在mini1上执行 nc -lk 8888 import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.{SparkConf, SparkContext} object St...
spark-streaming运行wordcount命令
qq_28286027的博客
03-07 770
spark-submit --class org.apache.spark.examples.streaming.HdfsWordCount \ --master yarn-cluster \ /usr/local/src/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar\ hdfs:...
SparkStreaming实时wordCount程序
JSON_ZJS的博客
05-14 637
package com.bynear.spark_Streaming; import org.apache.spark.SparkConf; import org.apache.spark.api.java.function.FlatMapFunction; import org.apache.spark.api.java.function.Function2; import org.ap...
Spark-Streaming wordCount
chenxiaokang的博客
07-12 760
DStreamDStream（Discretized Stream）是Spark Streaming的基础抽象，代表持续性的数据流(离散化流)和经过各种Spark原语操作后的结果数据流。在内部实现上DStream是一系列连续的RDD来表示。每个RDD包含一段时间间隔内的数据。DStream可以从各种输入源创建，比如Flume、Kafka或者HDFS。对数据的操作也按照RDD为单位来进行计算过程由S...
spark streaming中WordCount
lv_yishi的博客
11-10 1031
通过一些简单的案例，可以知道一些大致的用法 1.对每一个批次的数据进行操作： import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spar...
12.1 SparkStreaming,WordCount
心雨先生
08-20 317
Storm和SparkStreaming: 1，Storm纯实时的流式处理框架（来一条数据立马进行处理），吞吐量不高 2，SparkStreaming是一个批处理，吞吐量高 3，Storm的事物的机制要比SparkStreaming完善 事物机制是指：接受或者拉取的每一条数据恰好被处理一次 4，SparkStreaming适合做复杂数据处理，Storm只适合做比较简单的汇总型计算 Sp...
spark踩坑系列1——spark streaming+kafka
最新发布
07-27
spark streaming 是基于 spark 引擎的实时数据处理框架，可以通过集成 kafka 来进行数据流的处理。然而，在使用 spark streaming 进行 kafka 数据流处理时，可能会遇到一些坑。 首先，要注意 spark streaming 和 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值