![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 87
半岛铁子_
那就叫小胡吧
展开
-
Spark 结构化流写入Hudi 实践
整合Spark StructuredStreaming与Hudi,实时将流式数据写入Hudi表中,对每批次数据batch DataFrame,采用Spark DataSource方式写入数据。流程与前一篇博客https://blog.csdn.net/hshudoudou/article/details/125303310?spm=1001.2014.3001.5501的配置文件一致。项目结构如下图所示:主要是 stream 包下的两个 spark 代码。注意修改 Kafka Client P原创 2022-06-16 21:23:00 · 965 阅读 · 2 评论 -
Kafka学习笔记(四)Kafka API
Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了 两个线程——main 线程和 Sender 线程,以及一个线程共享变量——RecordAccumulator。 main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAccumulator 中拉取 消息发送到 Kafka broker。相关参数:batch.size:只有数据积累到 batch.size 之后,sender 才会发送数据。linger.ms:如果数据原创 2022-06-06 20:26:18 · 467 阅读 · 0 评论 -
Kafka学习笔记(三)Kafka架构详解
Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的。topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文 件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己 消费到了哪个 offset,以便出错恢复时,从上次的位置继续消费。由于生产者生产的原创 2022-06-01 09:18:41 · 250 阅读 · 0 评论 -
Kafka学习笔记(二)Kafka安装部署及使用示例(含示例截图)
kafka安装学习笔记之入门级安装教程原创 2022-05-31 21:02:02 · 470 阅读 · 0 评论 -
Kafka学习笔记(一)Kafka概述
文章目录前言1. Kafka概述1.1 定义1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种模式1.3 Kafka 基础架构参考资料前言本文主要通过对B站Kafka视屏的学习,记录要点作为笔记,以备快速回顾和开发使用。1. Kafka概述1.1 定义传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。最新定义 : Kafka是 一个开源的分布式**事件流平台 **(Event Streaming原创 2022-05-31 19:56:16 · 107 阅读 · 0 评论