kafka
挖煤工人学IT
这个作者很懒,什么都没留下…
展开
-
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)
问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a distributed,partitioned,repli...转载 2018-11-23 19:07:31 · 117 阅读 · 0 评论 -
kafka server部署配置优化
1.kafka高性能的特点及条件 kafka是一个高吞吐量分布式消息系统,并且提供了持久化。其高性能的有两个重要特点:(1)利用了磁盘连续读写性能远远高于随机读写的特点;(2)并发,将一个topic拆分多个partition。 要充分发挥kafka的性能,就需要满足这两个条件。linkedin的测试,就把这两个方面发挥到极致(参考http://engineering.linkedin.com/k...转载 2018-12-08 14:50:14 · 264 阅读 · 0 评论 -
apache Kafka概要介绍
apache kafka参考 http://kafka.apache.org/documentation.html 消息队列分类: 点对点: 消息生产者生产消息发送到queue中,然后消息消费者从queue中取出并且消费消息。这里要注意: 消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。 Queue支持存在多个消费者,但是对一个消息而言,只会有一个消费...转载 2018-12-05 18:30:07 · 174 阅读 · 0 评论 -
Kafka文件的存储机制
同一个topic下有多个不同的partition,每个partition为一个目录,partition命名的规则是topic的名称加上一个序号,序号从0开始。 每一个partition目录下的文件被平均切割成大小相等(默认一个文件是500兆,可以手动去设置)的数据文件, 每一个数据文件都被称为一个段(segment file),但每个段消息数量不一定相等,这种特性能够使得老的segmen...转载 2019-02-01 16:06:53 · 181 阅读 · 0 评论 -
Kafka运维填坑
前提: 只针对Kafka 0.9.0.1版本; 说是运维,其实偏重于问题解决; 大部分解决方案都是google而来, 我只是作了次搬运工; 有些问题的解决方案未必一定是通用的, 若应用到线上请慎重; 如有疏漏之处, 欢迎大家批评指正; 列表: Replica无法从leader同步消息 Broker到zk集群的连接不时会断开重断 Broker重启耗时很久 不允许脏主选举导致B...转载 2019-01-31 09:38:47 · 932 阅读 · 0 评论 -
kafka中partition和消费者对应关系
1个partition只能被同组的一个consumer消费,同组的consumer则起到均衡效果 消费者多于partition topic: test 只有一个partition 创建一个topic——test, bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitio...转载 2019-01-31 11:32:48 · 388 阅读 · 0 评论