kafka 读取历史数据_Linux Page Cache调优在Kafka中的应用

本文首发于 vivo互联网技术 微信公众号
链接： https://mp.weixin.qq.com/s/MaeXn-kmgLUah78brglFkg
作者：Yang Yijun

本文主要描述Linux Page Cache优化的背景、Page Cache的基本概念、列举之前针对Kafka的 IO 性能瓶颈采取的一些解决方案、如何进行Page Cache相关参数调整以及性能优化前后效果对比。

一、优化背景

当业务快速增长，每天需要处理万亿记录级数据量时。在读写数据方面，Kafka 集群的压力将变得巨大，而磁盘 IO 成为了 Kafka 集群最大的性能瓶颈。

当出现入流量突增或者出流量突增情况，磁盘 IO 持续处于被打满状态，导致无法处理新的读写请求，甚至造成部分broker节点雪崩而影响集群的稳定。

如下图所示，磁盘 IO 被持续打满：

这严重的影响了集群的稳定，从而影响业务的稳定运行。对此，我们做出了一些针对性的优化方案：

1. 对Linux操作系统的Page Cache参数进行优化；【本文主要讲解内容】
2. 对kafka集群用户的出入流量进行限制，避免出入流量突增给磁盘IO带来的压力；【本文对此方案不做讲解】
3. 按业务对集群进行资源组隔离（集群broker的物理隔离），避免不同业务间因为共享磁盘IO相互影响；【本文对此方案不做讲解】
4. 对Kafka集群broker节点服务参数进行优化；【本文对此方案不做讲解】
5. 改造Kafka副本迁移源码，实现增量并发副本迁移，减少副本迁移给集群broker节点磁盘IO带来的压力；【本文对此方案不做讲解】
6. 开发一套Kafka集群自动负载均衡服务，定期对集群进行负载均衡；【本文对此方案不做讲解】
7. 采用IO性能更好的SSD固态硬盘替换普通的机械硬盘；进行磁盘RAID让broker内部多块磁盘间IO负载更加均衡【本文对此方案不做讲解】
8. 改造Kafka源码，对Kafka集群单个broker及单个topic进行出入流量限制，实现流量对最细粒度控制；当单个broker流量突增时可以对其进行上限限制，避免节点被异常流量打挂；【本文对此方案不做讲解】
9. 改造Kafka源码，修复副本迁移任务启动后不可手动终止的缺陷，实现当因迁移导致负载过高却无法停止的问题；【本文对此方案不做讲解】
10. 机房网络带宽的竞争也将间接的影响到follower同步leader的数据，最终将导致follower同步拉取历史数据而增加IO负载，因此需要对网络带宽进行优先级打标，当有竞争时提高Kafka集群的优先级，避免kafka集群的broker和其他大量消耗网络带宽的业务共用机房交换机。【本文对此方案不做讲解】

以上只是列举了几点主要的优化方案，还有一些其他的内容这里不再赘述。本文我们主要来讲解一下 Linux操作系统的Page Cache参数调优。