kafka运行环境优化分析

1.kafka高性能的特点及条件

kafka是一个高吞吐量分布式消息系统,并且提供了持久化。其高性能的有两个重要特点:(1)利用了磁盘连续读写性能远远高于随机读写的特点;(2)并发,将一个topic拆分多个partition。
要充分发挥kafka的性能,就需要满足这两个条件。linkedin的测试,就把这两个方面发挥到极致(参考

http://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

(1)磁盘的连续性

        要充分利用磁盘连续读写高性能的特点,就意味着要减少操作系统对磁盘的重新调度。kakfa内部的实现非常巧妙:
生产:   网络 —>  pagecache(内存) —>磁盘
消费:   磁盘 —> 网络          (使用sendfile将磁盘数据直接拷贝到网卡发送缓冲区)

 这样的设计使得,写磁盘的机会仅仅是pagecache需要flush到磁盘的时候;这样保证了大多数时候磁盘可以连续地读取,而且直   接复制到网卡,避免消费影响到生产(写入内存)。另外,使用文件系统pagecache而不是自建缓存,还利用pagecache对于 sendfile来说是透明的优势,也就是在没有消息堆积时,数据流动实际时pagecahe直接到网卡,减少磁盘io又保证及时消费。

(2)并发,将topic拆分多个partition

kafka读写的单位是partition,因此,将一个topic拆分为多个partition可以提高吞吐量。但是,这里有个前提,就是不同partition需       要位于不同的磁盘(可以在同一个机器)。如果多个partition位于同一个磁盘,那么意味着有多个进程同时对一个磁盘的多个文 件进行读写,使得操作系统会对磁盘读写进行频繁调度,也就是破坏了磁盘读写的连续性。

      在linkedlin的测试中,每台机器就加载了6个磁盘,并且不做raid,就是为了充分利用多磁盘并发读写,又保证每个磁盘连续读写的特性。
 

具体配置上,是将不同磁盘的多个目录配置到broker的log.dirs,例如
      log.dirs=/disk1/kafka-logs,/disk2/kafka-logs,/disk3/kafka-logs
      kafka会在新建partition的时候,将新partition分布在partition最少的目录上,因此,一般不能将同一个磁盘的多个目录设置到log.dirs

2.kafka在虚拟机环境的优化

        kafka高性能很大程度依赖于磁盘(文件系统)的连续读写,而在虚拟机环境中,文件系统一些不同的特点,因此做好这些优化很有必要。

(1)虚拟文件系统的特点

 通常,虚拟机不会直接使用物理磁盘(尽管可以)。多个物理磁盘或者raid阵列被宿主系统虚拟成一个大的磁盘,再分配各个虚拟机。对于虚拟文件系统来说,有2个特点比较重要
写优先。大多数虚拟文件系统为了保证磁盘数据的更新,都会一定程度保证写优先
非连续。对于可变大小的虚拟磁盘,通常再需要空间的时候再进行实际分配,造成逻辑上连续的文件,物理存储并不一定连续
高性能。为了支持多个虚拟机同时运行,合理的情况下配置的整体磁盘性能会比较高
不稳定。由于多个虚拟机同时运行的互相影响,可能会出现资源争夺导致的不稳定 

(2)kafka在虚拟机环境的优化

   首先是,多磁盘的并发的问题。不管怎么说,虚拟机环境至少剥夺了单个kafka同时使用多个磁盘的优势。也就意味着,在在同一个虚拟机,同一个topic,最好只有一个partition;当然,不同topic之间partition如果同时生产-消费也会互相影响,但不一定会同时在高峰(同个topic一定)。构建较大集群(在不同物理机)仍然能够保持并发优势。

   其次,写优先和不稳定也是需要考虑问题。如果多个topic同时写入,或者其他虚拟机抢占资源,可能会导致消费缓慢。因此,监控就显得特别重要,对于消费过慢的partition 暂停写入。由于pagecache默认会使用所有可用内存,增加内存可以减少flush到磁盘的次数,使得读取(消费)更加顺利。

另外,为了保证读写连续性,kafka自身及其他服务不要和log.dir共享磁盘。在美团虚拟机上,可以考虑将kafka 安装在系统磁盘, 数据盘(/opt)完全用于日志存储。

  总结一下,kafka在虚拟机环境的优化有三点:
      第一,组建较大集群,并保
证同一个topic的不同partition位于不同虚拟机(所以在不同的磁盘)
      第二,监控,对于消费过慢的partition(所在的broker),暂停写入(生产),等待消费
      第三,将kafka安装在系统盘,
数据盘(/opt)完全用于消息存储。数据盘上不安装其他服务

  不得不提的是,以上结论在美团办公云(读取200mb/s +)上测试有明显的表现;。但是,良好的配置可以提升稳定性,比如出现多个topic同时达到高峰,或者出现别的虚          拟机抢占资源的时候,通常更不容易出现故障。

(3) 内存相关设置

现在线上  默认的jvm内存堆分配较大(比如8g内存给jvm堆6g),导致系统其他可用内存比较小。pagecache是linux内核的低优先级缓存,在内存空间富裕的情况下才能获得较大的空间。并且kafka不自建缓存,堆空间需求也比较小。因此建议保留物理内存的1/2以上给系统,以便保证pagecache的分配。

关于jvm内存参数设置请参考:jvm调优总结

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值