kafka技术内幕0.10

最新推荐文章于 2020-12-03 16:54:50 发布

github_28583061

最新推荐文章于 2020-12-03 16:54:50 发布

阅读量324

点赞数

文章标签：队列网络 kafka java 分布式

本文链接：https://blog.csdn.net/github_28583061/article/details/106385272

版权

写的快----磁盘读写优化
- 预读（read-ahead) : 提前将一个比较大的磁盘块读入内存
- 后写（write-behind): 将很多小的逻辑写操作合并起来组成大的物理写操作
- 操作系统会将主内存剩余的所有空闲内存用作磁盘缓存（disk cacke/page cache)
  - kafka直接写入磁盘缓存，由操作系统定期刷新到磁盘文件
- 顺序读写文件
- 采用零拷贝技术读取文件数据通过网络发送给消费者
  - * 减少了上下文应用程序和内核的上下文切换 * 减少了应用程序和内核之间数据的冗余拷贝 * 应用程序调用了netty 的 transferTo ，内核调用了sendfile
生产者发送消息优化 -- 批处理 + 压缩
消费者批量拉取数据
- 当消息代理没有数据或者数据量少的时候，消费者不断轮询，浪费资源
- 可以为消费者客户端设置指定的字节数量，如果消息代理没有收集足够的数据，客户端的拉取请求不会立即返回

每个topic有多个分区，每个分区可以有1个或者多个副本，副本数不超过消息代理服务数量
分区的第一个副本会成为leader，负责所有客户端的读写请求，其他副本同步拉去leader的数据
- 一个分区只有一个leader副本负责所有读写请求，所以不同分区的leader副本会分散在不同的服务器上，实现负载均衡
当分区的leader副本出现问题时，会从该分区在同步状态的副本列表中选取一个作为主副本
备份副本从主副本消费消息的方式和普通消费者一样，只是回将消息存储到本地日志
容错处理
- 存活节点（在ISR 同步副本列表中）：
  - 节点与zk保持心跳
  - 副本的消息不能落后主副本太多

应用程序使用kafkaProducer对象代表一个生产者客户端进程，消息回先放入队列中，有一个消息发送线程从队列中拉去消息，批量方式发送给服务器
kafka的记录收集器RecordAccumulator负责缓存生产者客户端产生的消息
- 新产生的消息向记录收集器中追加一条消息，追加的返回结果表示批次是否满了，满了就发送一批数据
- 每个分区都有一个双向队列来缓存消息。
- 每个批次可以看出队列的一个元素，
发送线程sender负责读取记录收集器的批量消息，通过网络发送给服务端
- 客户端发送线程只需要一个，获取分区对应的主副本节点，取出分区缓存队列中的批次记录发送
- 消息发送有两种发送方式：
  - 按照分区直接发送
    - 直接发送给分区主副本，多少个分区就可能有多少个连接，如果分区数大于服务器数量的情况，可能与同一台服务器建立了多个连接，因为多个分区在同一个服务器上
  - 按照分区的目标节点发送
    - 如果分区数大于服务器节点数的情况，一个服务器有多个分区的主副本，只需要与一个服务器建立连接。
kafka使用Selector处理网络连接和读写处理，使用NetworkClient处理客户端的网络请求

管理客户端和服务端之间的网络通信，包括连接建立，发送客户端请求，读取客户端响应
- ready()方法：从记录收集器获取准备完毕的节点，并连接所有准备好的节点
- send()方法：为每个节点创建一个客户端请求，将请求暂存到节点对于的通道中
- poll()方法：轮询动作会真正执行网络请求，发送请求给节点，并读取响应
针对同一个服务端，如果上一个客户端请求还没有发送完成，不允许发送新的客户端请求
- 客户端网络连接对象用inFightRequests变量在客户端缓存了还没有收到响应的客户端请求
- inflightRequests类包含一个节点到双端队列的映射结构
- 准备发送客户端请求时，请求将添加到指定节点对应的队列中
- 在收到响应后，才会将请求从队列中移除

关注