分布式专题（九）kafaka

文档

链接：https://pan.baidu.com/s/1eLHBXs-V9bOmkAh9ZLXcAw 
提取码：dhcd

链接：https://pan.baidu.com/s/13dqujepEIPJ5r_0Z8ujSxw 
提取码：aq59

 

安装kafka

1. tar -zxvf .
2. 进入到config目录下修改server.properties

          broker.id

          listeners=PLAINTEXT://192.168.11.140:9092

          zookeeper.connect=192.168.11.140:2181,192.168.11.141:2181.192.168.11.138:2181

    3.启动

          sh kafka-server-start.sh -daemon ../config/server.properties

          sh kafka-server-stop.sh

创建topic

1、创建一个名字为“test”的Topic，这个topic只有一个partition，并且备份因子也设置为1：

bin/kafka-topics.sh --create --zookeeper 【localhost】:2181 --replication-factor 1 --partitions 1 --topic test

查看topic list

2.bin/kafka-topics.sh --list --zookeeper 【localhost】:2181

查看结果：test

发送消息 

创建消费者

实现细节

消息有key（可为空）、value

 topic&Partition 

Topic是用于存储消息的逻辑概念，可以看作一个消息集合。每个topic可以有多个生产者向其推送消息，也可以有任意多个消费者消费其中的消息

Partition是以文件的形式存储在文件系统中，存储在kafka-log目录下，命名规则是：<topic_name>-<partition_id>

kafka的高吞吐量的因素

1. 顺序写的方式存储数据 ；
2. 批量发送；在异步发送模式中。kafka允许进行批量发送，也就是先讲消息缓存到内存中，然后一次请求批量发送出去。这样减少了磁盘频繁io以及网络IO造成的性能瓶颈

                batch.size 每批次发送的数据大小

                linger.ms  间隔时间

       3.零拷贝

消息从发送到落地保存，broker维护的消息日志本身就是文件目录，每个文件都是二进制保存，生产者和消费者使用相同的格式来处理。在消费者获取消息时，服务器先从硬盘读取数据到内存，然后把内存中的数据原封不懂的通过socket发送给消费者。虽然这个操作描述起来很简单，但实际上经历了很多步骤

 

日志策略、消息可靠性、副本机制 见文档

java代码

看视频8.2上或者

https://blog.csdn.net/q975583865/article/details/82078657

 

 

-------------------------------===========================------------------------------------------

1.kafka高可用

2.如何保证消息不被重复消费（保证幂等性）

 

3.消息丢失问题

3.1消费者弄丢数据

kafka会自动提交offset，只要关闭自动提交offset,处理完之后手动提交offset，就可以保证消息不被丢失。但是还是存在重复消费问题，自己保证幂等性就好了。

3.2kafka丢失数据

kafka的leader的broker宕机，重新选举partition的leader时，follower还没有同步数据 ，这里需要需要设置4个参数： 

• 给topic设置replication.factor参数：这个值必须大于1，每个partition必须至少有2个副本
• kafka服务端min.insync.replicas参数：这个值必须大于1，这个是要求一个leader至少感知到一个follower还跟自己保持联系，没掉队
• 在producer端设置acks=all:这个是要求每条数据，必须是写入所有的replica之后，才能认为是写成功了
• 在producer端设置retries=MAX:这个是要求一旦写入失败，无限重试

4.kafka 多线程消费保证消息顺序性（内存队列）