Loser_you的博客

一、kafka消费方式二、kafka消费者工作流程2.1 消费者总体工作流程2.2 消费者组原理Consumer Group(CG):消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。消费者初始化流程：每个consumer都发送JoinGroup请求选出一个consu

一、Kafka Broker 工作流程1.1 zookeeper中存储的kafka信息启动zk客户端：./bin/zkCli.sh查看kafka信息：ls /kafka1.2 kafka broker 总体工作流程broker启动，向zk注册自己先注册的controller为controller的leader由选出的controller监听brokder节点的变化controller决定选举broker的leadercontroller将节点信息上传至zk

创建topic@Testpublic void createTopic() { Properties properties = new Properties(); properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka-21:9092,kafka-22:9092"); AdminClient adminClient = KafkaAdminClient.create(properties);..

一、生产者消息发送流程1.1 发送原理在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程 中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator， Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker。1.2 生产者参数列表bootstrap.servers: 生产者连接集群所需的 broker 地址清单。例如 kafka-01:90

创建topickafka-topics.sh --bootstrap-server localhost:9091,localhost:9092,localhost:9093 --create --topic test-topic-01 --replication-factor 1 --partitions 1--bootstrap-server：指定kafka节点地址--create：指定本次命令是创建 topic--topic：指定topic名称--replication-factor：..

一、zookeeper安装在同一台服务器上，以不同端口（2181，2182，2183）运行三个zookeeper，形成一个伪集群下载安装包cd /opt/softwarewget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz解压安装包tar -zxvf zookeeper.tar.gz -C /opt/module/zooke

自定义环境变量/etc/profile.d/my_env.sh# JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_171export JRE_HOME=$JAVA_HOME/jreexport ClASSPATH=.:$JAVA_HOME:$JRE_HOME/lib:$CLASSPATHexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin # KAFKA_HOMEexport PATH=$PATH:/op

一、zookeeper安装在同一台服务器上，以不同端口（2181，2182，2183）运行三个zookeeper，形成一个伪集群下载安装包cd /opt/softwarewget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz解压安装包tar -zxvf zookeeper.tar.gz -C /opt/module/zooke