spark streaming小实战之kafka读取与存储

最新推荐文章于 2024-05-29 09:38:05 发布
最新推荐文章于 2024-05-29 09:38:05 发布
阅读量2.4k 收藏 5
点赞数 1
分类专栏： spark 文章标签： spark streaming
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37637511/article/details/80330358
版权
本文介绍了使用Spark Streaming从Kafka读取数据，并进行每5分钟访问量统计，然后将处理结果回写到Kafka的实战过程。首先通过Kafka Connect模拟数据流，接着展示Scala编写的Spark Streaming程序及其运行效果，最后验证数据成功存储到指定topic。
摘要由CSDN通过智能技术生成

本次小实战主要介绍一下spark streaming如何读取kafka数据

涉及理论部分在这就不多说了，自己也刚入门

先说下需求

待处理日志格式为

ouMrq2r_aU1mtKRTmQclGo1UzY,3251210381,2018/11/29 13:46,上海,上海,210.2.2.6,7038004
ouMrq2r_aU1mtKRTmQclGo1UzY,3251210381,2018/09/18 08:37,上海,上海,210.2.2.6,7038004
ouMrq2r_aU1mtKRTmQclGo1UzY,3251210381,2018/02/19 01:16,上海,上海,210.2.2.6,7038004

需要做的是统计每隔5分钟内被访问的数量

数据从kafka中读出，通过spark streaming处理，然后再写会kafka

接下来将从两部分入手说明项目完成过程

一、模拟kafka流

二、spark streaming处理最后写回kafka


第一部分

目的：模拟真实kafka流情况

思路：使用kafka的connect监听source文件，如果发生修改，写入topic

先打开zookeeper，kafka

接着进入kafka目录下，使用如下命令开启connect

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties

监听的文件位置在  

最低0.47元/天 解锁文章
DaHuangXiao
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java实现SparkSteamming接受发送Kafka消息
05-24
java实现SparkSteamming接受发送Kafka消息
SparkStreamingKafka:Spark Streaming日志到kafka
05-17
**Spark Streaming与Kafka集成详解** Spark Streaming是Apache Spark项目的一部分，它提供了一个高级抽象来处理实时数据流。Kafka是一种流行的分布式消息系统，用于在应用程序之间高效地传输大量数据。将Spark ...
Spark Streaming读取Kafka数据的两种方式
王佩的CSDN博客
04-20 5953
Kafka在0.8和0.10之间引入了一种新的消费者API,因此,Spark Streaming与Kafka集成,有两种包可以选择: spark-streaming-kafka-0-8与spark-streaming-kafka-0-10。在使用时应注意以下几点: spark-streaming-kafka-0-8兼容Kafka 0.8.2.1及以后的版本, 从Spark 2.3.0开始，对K...
Spark基础：Kafka分布式消息系统
最新发布
IT深耕十余载，大道之简
05-29 362
Kafka是一个由Apache软件基金会开发的开源分布式消息系统，它最初由LinkedIn公司开发和维护，后于2011年初开源。Kafka被设计为一个高吞吐量、低延迟的平台，用于处理实时数据流。下面将详细介绍Kafka分布式消息系统的几个关键方面。总结来说，Kafka是一个高性能、分布式、可靠的消息系统，被广泛应用于实时数据处理和流处理场景。与Spark的集成使得Kafka能够更好地发挥其在大数据处理和分析方面的优势。
sparkStreaming读取kafka的两种方式
热门推荐
weixin_39843430的博客
04-20 1万+
第一个是：Receiver-base 基于Receiver的kafka数据消费模式就是先把数据从kafka中读取出来然后缓存到内存然后再定时处理。这里要引入一个参数配置spark.streaming.receiver.writeAheadLog.enable 防止集群闪退偏移量没做好造成数据丢失。 Receiver-basede kafka读取模式是基于Kafka的高阶（high-...
spark streaming读取kafka 零丢失（三）
qq_14950717的博客
08-27 474
方式二： 方法二就是每次streaming 消费了kafka的数据后，将消费的kafka offsets更新到zookeeper。当你的程序挂掉或者升级的时候，就可以接着上次的读取，实现数据的令丢失和 at most once。而且使用checkpoint的方式可能会导致数据重复消费，spark streaming维护的offset和zookeeper维护的偏移量不同步导致数据丢失或者重复消费等。
kafka kafka与sparkStreaming kafka与Scala
03-24
Spark Streaming可以从Kafka的Topic中直接读取数据，进行实时处理，然后将结果写回Kafka或者其他存储系统。这种组合提供了低延迟的数据处理和强大的分析能力，适合实时监控、日志分析、实时报警等场景。 **Kafka与...
sparkStreaming结合kafka取存数据
01-07
目录 一、说明 1、环境介绍 ...3、主程序Kafka2SparkStreaming2Kafka 四、启动程序测试 1、创建相关kafka主题 2、kafka生产数据到程序 3、从写入到的kafka主题中读取数据 一、说明 1、环境介绍 spark:
小晨精品Spark Streaming 与 Kafka 集成原理.pdf
11-26
Spark Streaming 与 Kafka 的集成是大数据实时处理中的常见应用场景，它能帮助用户高效地从 Kafka 分区读取数据并进行实时分析。 集成 Spark Streaming 和 Kafka 的方式主要有两种： 1. **Receiver-based Approach...
spark-streaming-kafka-0-8-assembly_2.11-2.4.5
03-31
Spark Streaming和Kafka集成是大数据处理领域中的常见组合，它们结合了Spark的实时处理能力与Kafka的消息队列优势。`spark-streaming-kafka-0-8-assembly_2.11-2.4.5`是Apache Spark的一个库，用于在Spark Streaming...
spark streaming
11-03
spark streaming spark流式计算 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据
SparkStreaming
11-21
随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架 MapReduce 已经不能满足业务，大量的场景需要实时的数据处理结果来进行分析，决策。例如实时的用户推荐，在 618 这样的刺激环境下普通历史数据的推荐已经不能满足场景，就需要采集前分钟，甚至式前几秒的数据进行分析。实时计算适用于这种对历史数据依赖不强，短时间内变化较大的数据。用户行为分析，舆情分析，等等不断随环境和时间实时变化的数据都可能用到实时计算。
sparkstreaming读取kafka的两种方式
迎接小天使
12-10 1743
spark streaming提供了两种获取方式，一种是同storm一样，实时读取缓存到内存中;另一种是定时批量读取。 这两种方式分别是： Receiver-base Direct 一 、Receiver-base： Spark官方最先提供了基于Receiver的Kafka数据消费模式。不过这种方式是先把数据从kafka中读取出来，然后缓存在内存，再定时处理。如果这时候集群退出，而偏移量又没处理好...
spark streaming读取kafka示例
walt_xu的专栏
02-01 1761
spark streaming读取kafka示例，其中 Spark Streaming优雅的关闭策略优化部分参考： http://qindongliang.iteye.com/blog/2404100 如何管理Spark Streaming消费Kafka的偏移量部分参考： http://qindongliang.iteye.com/blog/2401194 Spark向kafka
sparkstreaming之kafka--Spark Streaming对接Kafka的方式二KafkaDirect
羽翼天宇
02-18 253
package com.yys.sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.streaming.{Seconds, StreamingContext}import kafka.serializer.StringDecod...
spark Streaming
我还是个菜鸟
10-26 1096
spark Streaming一 .概述1. Spark Streaming原理2. Spark Streaming作业流程3.Spark Streaming 与 Strom3.1 处理性能对比3.2 架构对比3.3 模型对比3.4 异同4. 数据流（离散数据流）4.1 DStream特点5 数据源6 Spark Streaming 读取外部数据6.1 原理6.2 步骤6.3 创建 Streami...
Spark Streaming实战：改造与项目实施(第1部分)
SparkStreaming应用与实战全攻略（Ⅰ）是一套全面深入的教程，旨在帮助读者理解和掌握Spark Streaming的使用与实践。该系列教程共包含六个部分，本文作为第一部分，主要聚焦于背景与架构改造，代码实现，以及监控和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值