![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
消息队列
Chasing__Dreams
这个作者很懒,什么都没留下…
展开
-
kafka--基础知识点--15--常用命令行操作
1 创建主题./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test2 查看主题./kafka-topics.sh --list --zookeeper localhost:21813 查看主题的相关信息(分区数、副本数、Isr)./bin/kafka-topics.sh --zookeeper localhost:2181 --describ原创 2021-04-08 09:07:06 · 148 阅读 · 1 评论 -
kafka--基础知识点--14--kafka部署
此处使用docker-compose部署,因此前提是安装好docker和docker-compose1 单机部署1.1 kafka-single----kafka-single ----docker-compose.yml1.2 docker-compose.ymlversion: "3"services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka:原创 2021-04-08 08:58:48 · 207 阅读 · 0 评论 -
kafka--基础知识点--13--api
api需从以下几方面进行测试,此处还待后续补充:普通生产者api带回调函数的生产者api生产者分区策略选择api自定义分区的生产者api同步发送生产者api消费者重置offset api消费者保存读取offset api消费者手动提交offset api自定义拦截器 api...原创 2021-04-06 08:08:03 · 76 阅读 · 0 评论 -
kafka--基础知识点--12--kafka优化
P12 大数据_ 2020-09-29 12Kafka的优化与集成转载 2021-04-06 07:59:58 · 100 阅读 · 0 评论 -
kafka--基础知识点--11--zookeeper在kafka中的作用
1 Broker注册Broker是分布式部署并且相互之间相互独立,但是需要有一个注册系统能够将整个集群中的Broker管理起来,此时就使用到了Zookeeper。在Zookeeper上会有一个专门用来进行Broker服务器列表记录的节点:/brokers/ids每个Broker在启动时,都会到Zookeeper上进行注册,即到/brokers/ids下创建属于自己的节点,如/brokers/ids/[0…N]。Kafka使用了全局唯一的数字来指代每个Broker服务器,不同的Broker必须使用转载 2021-04-06 07:45:06 · 204 阅读 · 0 评论 -
kafka--基础知识点--10--kafka 高效读写数据
P22 22_尚硅谷_Kafka高级_高效读写&ZK作用转载 2021-04-05 16:07:33 · 130 阅读 · 0 评论 -
kafka--基础知识点--9--消费者分区分配策略
1 RangeAssignorRangeAssignor 策略的原理是按照消费者总数和分区总数进行整除运算来获得一个跨度,然后将分区按照跨度进行平均分配,以保证分区尽可能均匀地分配给所有的消费者。对于每一个 Topic,RangeAssignor 策略会将消费组内所有订阅这个 Topic 的消费者按照名称的字典序排序,然后为每个消费者划分固定的分区范围,如果不够平均分配,那么字典序靠前的消费者会被多分配一个分区。假设 n=分区数/消费者数量,m=分区数%消费者数量,那么前 m 个消费者每个分配 n+1转载 2021-04-05 15:33:08 · 231 阅读 · 0 评论 -
kafka--基础知识点--8--Controller选举/leader选举
1 Controller 选举kafka控制器管理着整个集群中分区以及副本的状态,控制器的选举需要依赖于Zookeeper,在kafka集群启动的时候,会在ZK中创建一个临时节点(EPHEMERAL)/controller,在每个Broker启动的时候,都会先去访问ZK中的这个节点,如果不存在Broker就会则创建这个节点,先到先得称为Controller,其它Broker当访问这个节点的时候,如果读取到brokerid不等于-1,那么说明Controller已经被选举出来了,这个/controller转载 2021-04-05 11:32:33 · 1055 阅读 · 0 评论 -
kafka--基础知识点--7--故障处理 HW和LEO
数据的不丢失与不重复主要依赖ACK机制和leader的重新选举机制。P16 16_尚硅谷_Kafka高级_数据一致性问题转载 2021-04-05 09:20:23 · 175 阅读 · 0 评论 -
kafka--基础知识点--6.2--消费与提交策略、事务consumer
1 consumer delivery guarantee2 事务consumer因此保证消费者精确消费一次需要通过协调offset和实际操作的输出而不是consumer事务P24 24_尚硅谷_Kafka高级_事务P9 大数据_2020-09-29 09Kafka的Broker转载 2021-04-05 22:17:30 · 183 阅读 · 0 评论 -
kafka--基础知识点--6.1--幂等性producer、 事务producer
P17 17_尚硅谷_Kafka高级_ExactlyOnce转载 2021-04-05 11:49:40 · 392 阅读 · 0 评论 -
kafka--基础知识点--6--ISR 和 ACK机制
P1 14_尚硅谷_Kafka高级_生产者ISRP15 15_尚硅谷_Kafka高级_生产者ACk机制转载 2021-04-05 08:54:29 · 426 阅读 · 0 评论 -
kafka--基础知识点--5.1--消息发送流程
P25 25_尚硅谷_Kafka高级_API生产者流程转载 2021-04-05 22:35:05 · 107 阅读 · 0 评论 -
kafka--基础知识点--5--生产者分区策略
P19 19_尚硅谷_Kafka高级_消费者分区分配策略转载 2021-04-05 08:30:41 · 101 阅读 · 0 评论 -
kafka--基础知识点--4--kafka 工作流程及文件存储
P7 07_尚硅谷_Kafka_工作流程分析P8 08_尚硅谷_Kafka_生产数据流程P9大数据_2020-09-29 09Kafka的Broker转载 2021-04-05 08:26:03 · 142 阅读 · 0 评论 -
kafka--基础知识点--3--kafka基础架构
注意:一个Leader只能被同一个Consumer group中的一个consumer所消费,不能被同一个Consumer group中的多个 consumer所消费。一个Leader可以被多个Consumer group所消费。消息队列常用于生产速度大于消费速度。当consumer数量等于一个topic的partition数量时,性能最好。因为当consumer数量大于一个topic的parition数量时, 部分consumer可能需要处理多个leader;当consumer数量小于一个to.转载 2021-03-21 11:09:11 · 117 阅读 · 0 评论 -
kafka--基础知识点--2--kafka简介
对于kafka来说最重要的三个优点是解耦、削峰、异步。转载 2021-03-21 10:57:49 · 121 阅读 · 0 评论 -
kafka--基础知识点--1--消息队列模式
[1] 点对点消息传递模式消息从生产者传输到Queue使用的是推模型,发布订阅消息传递模式消息从生产者传输到Topic也使用推模型。通常所说的消息队列使用的是推模型还是拉模型,指的是消息从Queue/Topic传输到消费者使用的推模式还是拉模型。点对点消息传递模式消息从Queue传输消费者到使用的是推模型,而消息从Topic传输到消费者使用的是拉模型。[2] push模型很难适应消费速率不同的消费者,如果push的速度太快,容易造成消费者拒绝服务或网络拥塞;如果push的速度太慢,容易造成消费者性能浪费.原创 2021-03-21 10:47:29 · 369 阅读 · 0 评论 -
kafka--基础知识点--0--知识图谱
此外还需了解一些API的使用。原创 2021-04-06 10:06:22 · 110 阅读 · 0 评论