一个用Kakfa低级api的SparkStreaming程序实例

最新推荐文章于 2024-05-29 00:52:06 发布
最新推荐文章于 2024-05-29 00:52:06 发布
阅读量264 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/someInNeed/article/details/89738609
版权
本文介绍了在Spark2.4之后使用KafkaUtils.createDirectStream的低级API进行SparkStreaming消费的方式，强调了与Receiver API相比的并行性、效率和恰好一次语义的优势。在实践中，由于Kafka地址问题导致的错误被指出，解决办法是在hosts文件中添加主机名映射。此外，文章还解释了Scala中元组取值的语法。
摘要由CSDN通过智能技术生成

spark2.4以后可以用structStreaming

低级api消费:KafkaUtils.createDirectStream方式

        这种方式不同于Receiver(高级api)接收数据，它定期地从kafka的topic下对应的partition中查询最新的偏移量，再根据偏移量范围在每个batch里面处理数据，Spark通过调用kafka简单的消费者Api（低级api）读取一定范围的数据。

      相比基于Receiver方式有几个优点： 
      A、简化并行

     不需要创建多个kafka输入流，然后union它们，sparkStreaming将会创建和kafka分区数相同的rdd的分区数，而且会从kafka中并行读取数据，spark中RDD的分区数和kafka中的topic分区数是一一对应的关系。

      B、高效

      第一种实现数据的零丢失是将数据预先保存在WAL中，会复制一遍数据，会导致

了解本专栏 订阅专栏 解锁全文 超级会员免费看
for your wish
关注
专栏目录
订阅专栏
Kafka API实战
悦分享
09-05 244
消息队列内部实现原理：（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。（2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。
Spark Streaming 基本API案例
weixin_46235157的博客
04-08 340
1.Spark Streaming处理Socket数据 这边我们使用scala进行编程 def main(args: Array[String]): Unit = { //新建一个SparkConf 将Master和AppName设置进去 val sparkConf: SparkConf = new SparkConf() .setAppName("NetworkWordCou...
sparkstream和kafka的低级消费者(保存在ZK和Mysql两种)
qq_42506914的博客
03-18 251
写了两套方法，一套保存在zk上，一套保存在mysql里面 /** * @author wade * @create 2019-03-14 9:16 */ object LowerKafkaSource { def fromOffsets(kafkaCluster: KafkaCluster, groupId: String, topic: String): Map[T...
Spark低级API笔记
书忆江南的IT博客
03-20 682
一、RDD 1. 在绝大部分场景下，用户都应该尽量使用DataFrame等结构化API，只有当这类高级API无法解决遇到的业务或工程问题的时候，才需要使用Spark的低级API，例如弹性分布式数据集（RDD）、SparkContext和分布式共享变量（例如累加器和广播变量）。下列三种场景，通常需使用到低级API： （1）当在高级API中找不到所需的功能时，例如要对集群中数据的物理放置进行非常严...
Spark（四）-- SparkStreaming操作 （三）
happy-vicky的博客
10-21 222
导读 这一小节主要目的是为了了解Spark Streaming一些特别特殊和重要的操作, 一些基本操作基本类似RDD 1.updateStateByKey 1.1 需求: 统计整个流中, 所有出现的单词数量, 而不是一个批中的数量 使用中间状态实现统计功能 统计总数 入门案例中, 只能统计某个时间段内的单词数量, 因为reduceByKey只能作用于某一个RDD,...
调研 SparkStreaming API使用
无恋-zx的博客
09-18 206
本次调研案例 1.使用SparkStreaming去周期性监测指定本地文件目录下是否有文件写入或创建,有则读入SparkRDD进行过滤,分词,计数并将统计结果写入本地 2,使用SparkStreaming去周期性监测hdfs系统上指定目录下是否有文件新上传,有则读入SparkRDD进行过滤,分词,计数并将统计结果写入hdfs系统   调研结果 1,2两个测试案例均测试成功   问题分...
KafkaOffset重置：调整消费进度
最新发布
程序员光剑
05-29 465
KafkaOffset重置：调整消费进度 1.背景介绍 1.1 Apache Kafka简介 Apache Kafka是一个分布式流处理平台,它提供了一种统一、高吞吐、低延迟的方式来处理实时数据流。Kafka被广泛应用于
Kafka：概述、体系架构、Kafka集群部署、命令行操作、工作流程
Jodness' Blogs
08-13 2557
目录 1、Kafka(0.10.0.1)概述 1.1、消息队列JMS 1.2、消息队列的优点 1.3、Kafka是什么 2、Kafka体系架构 1）消息 / 键 / 批次 2）Topic 3）Producer 4）Consumer 5）Consumer Group 6）Partition 7）brocker 3、Kafka集群部署...
Kafka Stream 微服务领域流处理
zwzzwz11的博客
07-03 3235
流计算定义 一般流计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去计算。同时，计算结果是持续输出的，也即计算结果在时间上也是无界的。流式计算一般对实时性要求较高，同时一般是先定义目标计算，然后数据到来之后将计算逻辑应用于数据。同时为了提高计算效率，往往尽可能采用增量计算代替全量计算。批量处理模型中，一般先有全量数据集，然后定义计算逻...
Spark Streaming 中使用kafka低级api+zookeeper 保存 offset 并重用 以及 相关代码整合
zzyzzy12
10-09 5052
spark streaming 使用 kafka低级api维护offset 在
这几天折腾spark的kafka的低阶API createDirectStream的一些总结。
热门推荐
xiao_jun_0820的专栏
07-16 4万+
大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法。关于这两个方法的优缺点，官方已经说的很详细(http://spark.apache.org/docs/latest/streaming-kafka-integration.html)，总之就是cr
Spark Streaming入门详解
kamisamak的博客
04-16 217
Spark Streaming是一个基于Spark Core之上的实时计算框架。 特点 易用：可以像编写离线批处理一样去编写流式程序，支持java/scala/python语言。 容错：SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。 易整合到Spark体系：流式处理与批处理和交互式查询相结合。 在架构中的位置 在大数据计算模块中的实时计算...
Spark读取Kafka 高低阶API
857技术社区
05-20 457
1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据，利用的是Kafka高层次的消费者api，对于所有的receivers接收到的数据将会保存在Sparkexecutors中，然后通过Spark Streaming启动job来处理这些数据，默认会丢失，可启用WAL日志，该日志存储在HDFS上...
[Spark streaming 基础]--使用低阶API消费Kafka数据(手动更新offset)
欢迎来到我的博客，一起探索代码里的世界！
04-08 2662
版本：spark(1.6.0)+kafka(0.9.0)+zookeeper(3.4.6)      由于目前spark每天需要从kafka中消费数亿条左右的消息，集群压力比较大，会导致job不同程度的异常退出。原来使用spark1.6.0版本中的createStream函数，但是在数据处理速度跟不上数据消费速度且job异常退出的情况下，可能造成大量的数据丢失。还好，spark后续版本对这一情况有...
SparkSteaming整合kafka----采用direct(低级Api)
AyubLIbra的博客
06-04 275
废话不多说，直接上代码 1、pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://ma
Scala版SparkStreaming读写kafka，low level api模板代码存档
zzyzzy12
10-08 3952
spark streaming从kafka的某个topic拉取数据，处理完后再放入某个topic中的一个模板，不完整，作为参考，加了部分备注。     SparkStreaming主程序模板 package jacob.sparkstreaming import java.util import _root_.kafka.serializer.StringDecoder
利用sparkStreaming接受kafak中的消息，采用的是低层次Api-- direct （kafka 10版本）
star5610的博客
06-05 121
package com.spark.streaming import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.streaming.{Seconds, StreamingContext} //todo:利用sparkStreaming接受kafak中的消息，采用的是低层次Api-- d
kafka的高级API与低级API的优缺点与异同
yrsg666的博客
06-04 790
https://blog.csdn.net/weixin_39478115/article/details/79155118 https://blog.csdn.net/qq_26091271/article/details/77164735
Verisign专家详解：Kafka与SparkStreaming集成实践与挑战
在"MichaelG.Noll：整合Kafka到SparkStreaming——代码示例和挑战"这篇技术文章中，Verisign实验室的数据分析基础设施技术主管Michael G. Noll分享了将Kafka集成到Apache Spark Streaming的实践经验。作为一位瑞士...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值