Kafka源码分析
文章平均质量分 83
Kafka
顧棟
coding and writing
展开
-
Kafka生产者默认配置、消费者默认配置说明
文章目录Kafka生产者默认配置Kafka消费者默认配置Kafka生产者默认配置参数名默认值参数说明retries0设置大于零的值将导致客户端重新发送任何发送失败并可能出现暂时性错误的记录。acks1在认为请求完成之前,生产者要求领导者收到的确认数。acks=0,如果设置为零,那么生产者根本不会等待来自服务器的任何确认。acks=1,只要分区的Leader副本写入成功就有会返回。acks=-1或acks=all,需要所有副本都写入完毕。compression.t原创 2021-07-12 20:18:59 · 4516 阅读 · 4 评论 -
kafka源码分析 消费消息
文章目录kafka 消费消息源码分析消费消息的实例代码过程步骤参数说明创建消费者实例主流程kafka 消费消息源码分析消费消息的实例代码package com.example.demo.kafka;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consum原创 2021-07-12 16:25:29 · 403 阅读 · 0 评论 -
kafka源码分析 生产消息过程
文章目录kafka 生产消息分析生产消息的实例代码过程步骤参数说明创建生产者实例主流程sender的run流程处理生产消息结果流程kafka 生产消息分析生产消息的实例代码package com.example.demo.kafka;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kaf原创 2021-07-05 18:01:34 · 162 阅读 · 6 评论 -
kafka源码分析 创建Topic时 分区分配分析
文章目录kafka 1.1 创建Topic时 分区分配分析分区副本分配方式不考虑机架因素进行分区分配主要方法`assignReplicasToBrokersRackUnaware`代码分区下标计算方法情况模拟考虑机架因素进行分区分配主要方法`assignReplicasToBrokersRackAware`代码kafka 1.1 创建Topic时 分区分配分析分区分配指的是为集群创建Topic时的partition的副本分配,就是Topic的partition分配在哪些broker。分区副本分配方式原创 2021-07-04 20:39:22 · 197 阅读 · 2 评论 -
Kafka源码分析 Topic与Partition使用
文章目录主题与分区Topic的管理命令1. 创建Topic2. 查看Topic3. 修改Topic4. 删除Topickafka-topics.sh命令式创建Topic代码阅读分析主题与分区Topic的管理命令1. 创建Topic创建主题的命令,创建一个名为test的拥有10个partition,副本因子是3的Topic。bin/kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic test --partitions 1原创 2021-07-04 20:30:52 · 495 阅读 · 4 评论 -
kafka 消费者分区分配策略
文章目录kafka 消费者分区分配策略范围分配 RangeAssignor数据演示部分源码分析轮询分配RoundRobinAssignor数据演示部分源码分析粘性分配法 StickyAssignor数据演示分配主流程部分源码分析kafka 消费者分区分配策略Note:采用kafka1.1版本源码进行分析在消费者客户端中有一个参数配置partition.assignment.strategy,是用来配置消费者Client和Topic的分区分配策略,就是指消费者客户端消费订阅的topic的哪些分区,默原创 2021-06-29 19:37:52 · 551 阅读 · 2 评论 -
KafkaServer启动流程分析
KafkaServer启动流程分析根据kafka的Server启动命令,寻找到启动入口Kafka类的main方法。bin/zookeeper-server-start.sh config/zookeeper.propertiesKafka类的main方法 def main(args: Array[String]): Unit = { try { val serverProps = getPropsFromArgs(args) val kafkaServerStar原创 2021-06-24 23:59:45 · 488 阅读 · 0 评论 -
kafka 1.1 创建Topic时分区分配分析
文章目录kafka 1.1 创建Topic时 分区分配分析分区副本分配方式不考虑机架因素进行分区分配主要方法`assignReplicasToBrokersRackUnaware`代码分区下标计算方法考虑机架因素进行分区分配kafka 1.1 创建Topic时 分区分配分析分区分配指的是为集群创建Topic时的partition的副本分配,就是Topic的partition分配在哪些broker。分区副本分配方式不考虑机架因素进行分区分配主要方法assignReplicasToBrokersRac原创 2021-06-23 23:30:55 · 634 阅读 · 0 评论 -
简述Kafka
文章目录简述Kafka架构部分术语解释ProducerTopicPartitionbrokerConsumerConsumer Group简述Kafka架构部分Kafka核心组成部分有Producer,Consumer,Broker,Topic,Zookeeper集群。一个基本的Kafka体系,包含了若干的Producer,若干的Consumer,若干的Broker,和一个Zookeeper集群。如下图所示,一个简单的Kafka消息的数据的流向,Producer将消息发送到Broker,Brok原创 2021-06-20 16:39:10 · 138 阅读 · 0 评论 -
在Windows环境IDEA下Kafka源码编译
文章目录Kafka 1.1版本在Windows环境IDEA下源码编译一、确认所需软件版本二、安装软件1. 安装JDK 1.82. 安装Gradle 4.83. 安装Scala 2.11.124. 安装Zookeeper单机模式 3.4.95. IDEA安装Scala插件三、源码编译1. 配置IDEA2. 编译![cancel](https://img-blog.csdnimg.cn/20210610162750185.png?x-oss-process=image/watermark,type_ZmFuZ3原创 2021-06-10 17:06:41 · 1021 阅读 · 0 评论