kafka
文章平均质量分 93
Young丶
这个作者很懒,什么都没留下…
展开
-
Kafka——管理Kafka(命令行工具)详解
有时候,我们需要知道提交的消费者群组偏移量是多少,比如某个特定的群组是否在提交 偏移量,或者偏移量提交的频度。也就是说,如果集群里有 5 个 broker,生产者的配额是 10MB/s,那么它可以以 10MB/s 的速率在单个 broker 上生成 数据,总共的速率可以达到 50MB/s。根 据分区大小的不同,复制过程可能需要花一些时间,因为数据是通过网络复制到新副本上 的。也就是说,在没有认证的情况下也可以使用这些命令行工具,在没 有安全检查和审计的情况下也可以执行诸如主题变更之类的操作。原创 2024-01-23 09:40:39 · 1242 阅读 · 0 评论 -
Kafka性能篇:为何Kafka这么“快“?
Kafka Broker 的。原创 2023-08-21 09:45:00 · 9922 阅读 · 0 评论 -
Kafka的底层“真面目”
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来进行横向扩容。单个parition内是保证消息有序。每新写一条消息,kafka就是在对应的文件append写,所以性能非常高。原创 2023-08-21 07:45:00 · 10110 阅读 · 0 评论 -
ZooKeeper 用的好好地,Kafka 为什么要抛弃 ZooKeeper?
可能看到这里有人会说,那为何一开始不这么实现?因为 ZooKeeper 是一个功能强大且经过验证的工具,在早期利用它来实现一些功能,多简单哟,都不需要自己实现。要不是 ZooKeeper 的机制导致了这个瓶颈,也不可能会有这个改造的。软件就是这样,没必要重复造轮子,合适就好。参考资料:原创 2023-05-23 10:15:00 · 44914 阅读 · 1 评论 -
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一
RabbitMQ: 一个Queue对应一个Consumer即可解决。RocketMQ:全局有序:Topic里面只有一个MessageQueue即可。局部有序: 根据路由算法,比如hash(key)%队列数得到路由索引,使得需要保证有序的消息都路由到同一个MessageQueue。Kafka:全局有序:Topic里面只有一个Partition即可。局部有序: 根据路由算法,比如hash(key)%分区数得到路由索引,使得需要保证有序的消息都路由到同一个Partition。...转载 2022-08-02 17:55:12 · 18835 阅读 · 0 评论 -
因为一次 Kafka 宕机,终于搞透了 Kafka 高可用原理!
所以,只要将Topic副本个数设置为和Broker个数一样,Kafka的多副本冗余设计是可以保证高可用的,不会出现一宕机就不可用的情况(不过需要注意的是Kafka有一个保护策略,当一半以上的节点不可用时Kafka就会停止)。存在一种情况,Leader刚收到了消息,Follower还没来得及同步Broker就宕机了,但生产者已经认为消息发送成功了,那么此时消息就丢失了。意思是生产者把消息发送出去之后,之后这消息是死是活咱就不管了,有那么点发后即忘的意思,说出去的话就不负责了。就不会出现丢失消息的情况吗?原创 2024-02-21 17:30:40 · 12232 阅读 · 0 评论