![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka,hive,hbase
文章平均质量分 89
kafka 知识并且从源码角度学习kafka的知识
大数据学习爱好者
想学好技术的年轻人
展开
-
kafka 基础知识 第二讲
kafka 基础知识1.消费者api1.消费者概念 1.消费者api 1.消费者概念 1)每个消费者属于一个消费者组。topic 的一个分区只会给一个消费者组下的一个消费者 2)如果要实现一个广播的效果,那只需要不同的group_id去消费。 3)如果consumer.group中某个消费者挂了,会自动把分配给他的分区分配其他的消费者。等它重启后再归还给它。 ...原创 2022-02-12 17:57:41 · 922 阅读 · 0 评论 -
kafka 基础知识 第三讲
kafka 基础知识第三讲1.数据可靠性和一致性2.kafka如何实现幂等性2.1 幂等性解决的问题2.2 如何操作开启kafka幂等性2.2 kafka 幂等性实现机制3.kafka 事务3.1 kafka 事务应用场景3.2 事务api4. kafka的高性能高可用原理 1.数据可靠性和一致性 数据可靠性-不丢失 一致性-读写一致性 可靠性: 1.topic 分区副本:kafka的分区多副本是kafka的可靠性保证的核心,把消息写入到多个副本kafka某个broker挂了也保证可靠性 2.produce原创 2022-02-12 17:43:24 · 747 阅读 · 0 评论 -
kafka 基础知识 第一讲
kafka 基础知识1.kafka 概述1.1 消息队列的两种模式1.2 kafka 特点1.3 kafka 架构 1.kafka 概述 kafka 是一个分布式的中间件,支持多分区、多副本、多订阅者,基于zookeeper协调的分布式消息系统。 1.1 消息队列的两种模式 1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 消息生产者生产消息发送到Queue中, 然后消息消费者从Queue中取出并且消费消息。 2)发布/订阅模式(一对多,消费者消费数据之后不会清除消息) 消息生产者(发布)将原创 2022-02-07 22:50:25 · 1232 阅读 · 0 评论