![](https://img-blog.csdnimg.cn/c29f3d1dba46435cb11cf5f51401d46e.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
文章平均质量分 86
消息队列之Kafka
悬浮海
正在准备系列内容,更新较少。
展开
-
kafka目录
消息队列中间件之kafka—目录1.Kafka概述2.Kafka 快速入门3.Kafka 架构深入3.1 Kafka 工作流程及文件存储机制3.2 Kafka 生产者 、3.3 Kafka 消费者与 3.4 kafka事务 总结:kafka生产者和消费者的分区分配策略3.5 Kafka 高效读写数据的原因3.6 Zookeeper 在 Kafka 中的作用4.Kafka API5.Kafka 监控6.Flume 对接 Kafka...原创 2021-12-26 00:05:04 · 1478 阅读 · 0 评论 -
Kafka概述
文章目录一、kafka概述和基础架构1.1、定义1.2、先来看一下消息队列1.2.1、传统消息队列的应用场景使用消息队列的好处1.2.2、消息队列的两种模式点对点模式发布/订阅模式1.3、基础架构一、kafka概述和基础架构Kafka官网主页Kafka官方文档1.1、定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。1.2、先来看一下消息队列1.2.1、传统消息队列的应用场景使用消息队列的好处解耦(类似Spring的原创 2021-12-25 20:26:04 · 786 阅读 · 0 评论 -
Kafka 快速入门(安装)
文章目录二、Kafka 快速入门2.1、windows版安装2.1.1、Quick StartStep 1: Download the codeStep 2: Start the serverStep 3: Create a topicStep 4: Send some messagesStep 5: Start a consumerStep 6: Setting up a multi-broker cluster2.1.2、server.properties配置文件一瞥2.1.3、命令行操作Topic增删原创 2021-12-25 20:30:51 · 1336 阅读 · 0 评论 -
3.1 Kafka 工作流程及文件存储机制
3.1、Kafka 工作流程及文件存储机制3.1.1、工作流程Kafka 中消息是以 topic 进行分类的, producer生产消息,consumer消费消息,都是面向 topic的。(从命令行操作看出)bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic testbin\windows\kafka-console-consumer.bat --bootstrap-server localhos原创 2021-12-25 20:35:44 · 1045 阅读 · 0 评论 -
Kafka 生产者 、 Kafka 消费者与 kafka事务
文章目录Kafka 生产者 、 Kafka 消费者与 kafka事务3.2、Kafka 生产者3.2.1 分区策略3.2.1.1)分区的原因3.2.1.2)分区的原则【*】3.2.2 数据可靠性保证(生产者推送的数据)【*】3.2.2.1、副本数据同步策略3.2.2.2、ISR3.2.2.3、ack 应答机制(数据丢失和数据重复)3.2.2.4、故障处理细节(数据一致性)3.2.3 Exactly Once 语义3.3、Kafka 消费者3.3.1 Kafka消费方式3.3.2 消费者组里的分区分配策略3.原创 2021-12-25 20:36:56 · 1109 阅读 · 0 评论 -
总结:kafka生产者和消费者的分区分配策略
文章目录kafka生产者和消费者的分区分配策略一、producer的分区分配策略二、consumer的分区分配策略2.1、Round Robin策略(轮询策略)2.2、Range策略2.3、StickyAssignor策略2.3.1、初始分配2.3.2、模拟consumer宕机kafka生产者和消费者的分区分配策略一、producer的分区分配策略我们向topic发送消息的时候是要把messages封装成一个ProducerRecord对象的,源码如下:可以看到再new一个ProducerReco原创 2021-12-25 20:45:16 · 1239 阅读 · 0 评论 -
kafka怎么保证不丢失消息和不重复消费消息
kafka学习目录:kafka目录文章目录一、生产者推送消息时怎么保证消息不丢失和不重复1.1、总体概况1.1.2、什么是ISR呢?1.1.3、ACK机制1.1.4、三种语义1.2、过程总结1.3、follower与leader出故障,怎么保证数据的一致性二、消费者丢失消息和重复消费消息的情况三、总结Kafka中怎么保证消息不会丢失和不重复消费?从两个方面分析:消费推送和消息消费。也就是生产者和消费者两方面。首先我们需要知道topic的概念。Topic : 话题,可以理解为一个队列, 生产者和原创 2022-01-17 16:46:14 · 10667 阅读 · 2 评论 -
3.5、Kafka 高吞吐量的原因
Kafka 高效读写数据(1)顺序写磁盘(2)分区的文件存储机制(3)零拷贝技术(4)批量发送(5)数据压缩原创 2021-12-25 20:37:52 · 875 阅读 · 0 评论 -
3.6、Zookeeper 在 Kafka 中的作用
(1条消息) kafka中zk的作用_maoyeqiu的专栏-CSDN博客_zk在kafka中的作用3.6、Zookeeper 在 Kafka 中的作用Kafka 集群中有一个 broker 会被选举为 Controller,负责管理集群 broker 的上下线,所有 topic 的分区副本分配和 leader 选举等工作。ReferenceController 的管理工作都是依赖于 Zookeeper 的。Controller 的选举是,每个broker 都会监控当前Controller 是否挂原创 2021-12-25 20:38:57 · 323 阅读 · 0 评论 -
4 、Kafka API(代码编写)
文章目录四、Kafka API(代码)4.1 Producer API4.1.1 消息发送流程4.1.2 异步发送 API(代码编写)4.1.2.1、不带回调函数的 API(send方法)4.1.2.2、带回调函数的 API(send方法)4.1.2.3、自定义分区器4.1.3 同步发送 API4.2 Consumer API4.2.1 自动提交 offset4.2.2 手动提交 offset4.2.2.1、同步提交offset4.2.2.2、异步提交offset4.2.2.3、数据漏消费和重复消费分析4.原创 2021-12-25 20:40:03 · 545 阅读 · 0 评论 -
5、Kafka 监控
文章目录五、Kafka 监控5.1、什么是Kafka Eagle5.2、安装与运行5.2.1、在Linux上安装与运行5.2.2、在Windows上安装与运行5.3、Kafka案例_监控Eagle的使用五、Kafka 监控5.1 Kafka EagleKafka Eagle官方主页Kafka Eagle下载页面Kafka Eagle官方文档5.1、什么是Kafka EagleKafka Eagle is open source visualization and management s原创 2021-12-25 20:40:43 · 1310 阅读 · 0 评论 -
6、Flume 对接 Kafka
六、Flume 对接 KafkaFlume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Source1)配置 flume(flume-kafka.conf)# definea1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.ty原创 2021-12-25 20:41:47 · 739 阅读 · 0 评论 -
Kafka消息队列消息消费延迟解决方案
文章包括两个部分: 1.消息队列能解决的问题(消息队列的用处?什么场景下可以用到消息队列?) 2.kafka消费低延迟解决方案文章目录一、消息队列解决的问题1.1、异步处理1.2、应用解耦1.3、流量削锋1.4、日志采集1.5、消息通讯二、kafka消费低延迟解决方案2.1、场景2.2、监控消息队列中的数据2.2.1、消息队列提供的工具2.2.2、自己生成消息监控2.3、降低消费延迟的正确姿势2.3.1、消费端2.3.2、消息队列自身2.4、总结一、消息队列解决的问题引入消息队列一般能解决原创 2022-02-19 16:40:58 · 10122 阅读 · 0 评论 -
kafka 中参数:session.timeout.ms 和 heartbeat.interval.ms的区别
文章目录1、heartbeat.interval.ms2、heartbeat.interval.ms 与 session.timeout.ms 的对比3、session.timeout.ms 和 max.poll.interval.ms4、一次kafka consumer 不断地 rebalance 分析涉及到三个参数:session.timeout.ms:group coordinator检测consumer发生崩溃所需的时间。一个consumer group里面的某个consumer挂掉了,最长需原创 2022-02-18 17:23:19 · 12223 阅读 · 1 评论