kafka
sheep8521
让优秀成为一种习惯
展开
-
kafka执行工具系列之(一)原生的kafka的脚本
原生 kafka 提供的工具脚本:一、所有工具脚本的位置:[root@master my_bin]# cd $KAFKA_HOME [root@master kafka]# cd bin/[root@master bin]# ll总用量 116-rwxr-xr-x. 1 root root 1052 8月 4 2016 connect-distributed.sh-rwxr-xr...原创 2020-03-26 19:35:40 · 369 阅读 · 0 评论 -
kafka原理系列之(六)如何动态修改Kafka Topic的分区副本数
一、内容简介Kafka提供了一个工具,用于调整Topic中各个分区的复本数据。工具名称叫kafka-reassign-partitions.sh。创建一个Topic,共2个分区,副本数为2(共2份,含原始数据):查看该Topic。分区0的Leader是1,分区1的Leader是2:本文转载自:http://johng.cn/update-kafka-topic-replicas/,本站转载出...原创 2020-03-11 10:37:01 · 2084 阅读 · 0 评论 -
kafka原理系列之(五)(如何确定Kafka分区个数)
一. Kafka的分区数是不是越多越好?1、 分区多的优点Kafka使用分区将topic的消息打算到多个分区分布保存在不同的broker上,实现了producer和consumer消息处理的高吞吐量。Kafka的producer和consumer都可以多线程地并行操作,而每个线程处理的是一个分区的数据。因此分区实际上是调优Kafka并行度的最小单元。对于producer而言,它实际上是用...原创 2020-03-10 18:05:29 · 2468 阅读 · 0 评论 -
kafka原理系列之(三)replication机制(复制原理)和ISR机制(同步机制)
Kafka的高可靠性的保障来源于其健壮的副本(replication)策略。通过调节其副本相关参数,可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供partition级别的复制,replication的数量可以在$KAFKA_HOME/config/server.properties中配置(default.replication.refactor)。1、...转载 2019-04-25 10:16:39 · 7894 阅读 · 2 评论 -
kafka原理系列之(二)partition的消费策略
1、topic和partition以及consumer关系一个topic 可以配置几个partition,producer发送的消息分发到不同的partition中,consumer接收数据是按照group来接收。kafka确保每个partition只能同一个group中的同一个consumer消费,如果想要重复消费,那么需要其他的组来消费。也就是说partition可以被不同的消费组中的消...原创 2019-04-24 15:13:02 · 1503 阅读 · 0 评论 -
kafka原理系列之(一)消息存储和offset提交机制
kafka之消息存储和offset提交机制Kafka具有存储功能,默认保存数据时间为7天或者大小1G,也就是说kafka broker上的数据超7天或者1G,就会被清理掉。这些数据存放在broker服务器上,以log文件的形式存在。kafka的安装目录下面的/conf/server.propertites文件中中设置:### 日志保存时间 (hours|minutes),默认为7天(168...原创 2019-04-24 13:57:00 · 5306 阅读 · 0 评论 -
kafka的使用场景
转 kafka的使用场景 2018年05月10日 18:28:02 Perkinl 阅读数:2820 ...转载 2019-04-16 12:13:45 · 266 阅读 · 0 评论 -
kafka关于offset的那些事
auto.offset.reset值含义解释earliest 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费 latest 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据 none topic各分区都存在已提交的offset时,从offset后开始消费;只要有一...原创 2019-03-05 16:20:46 · 430 阅读 · 0 评论 -
Kafka的配置文件详细描述
在kafka/config/目录下面有3个配置文件:1、producer.properties:生产端的配置文件#指定kafka节点列表,用于获取metadata,不必全部指定#需要kafka的服务器地址,来获取每一个topic的分片数等元数据信息。metadata.broker.list=kafka01:9092,kafka02:9092,kafka03:9092#生产者生产的消息被...转载 2019-03-01 13:51:18 · 669 阅读 · 0 评论