ceph jewel手动编译安装的一些优化

2019独角兽企业重金招聘Python工程师标准>>>

一、手动安装ceph。

    根据http://my.oschina.net/linuxhunter/blog/682013，手动安装jewel版本ceph到硬件服务器。

二、测试ceph集群的方法。

    使用ceph自带的rados bench命令简单测试手动搭建ceph集群的性能，查看系统性能的工具使用perf命令。由于默认安装的ubuntu环境没有安装perf工具及其依赖，所有要手动安装perf工具。#apt-get install perf linux-tools-4.4.0-21-generic。安装完成后启用两个终端分别运行#perf top命令和#rados banch -p test_rbd 60 write --no-cleanup命令。

三、发现的问题。

    在运行#perf top命令的终端上发现ceph-osd在调用ceph_crc32_sctp这个函数上占用了35%的CPU时间，而此时集群的压力并不大，因此决定从源代码上找找ceph_crc32_sctp为什么占用那么多的CPU时间。

    ceph_crc32_sctp这个函数位于src/common/sctp_crc32.c这个文件中，只有ceph_choose_crc32函数调用ceph_crc32_sctp函数。分析ceph_choose_crc32这个函数不难发现，该函数根据当前CPU的架构来选择计算crc32的方法。若CPU是intel的CPU且支持sse4指令集，则使用硬件计算crc32值(调用ceph_crc32_intel_fast函数)，否则使用软件计算crc32值(调用ceph_crc32_sctp函数)。我们使用的CPU是intel Xeon 2560 v2，当然支持sse4指令集。

四、解决问题的方法。

    要想让ceph支持硬件计算crc32值，就的在编译ceph的时候安装yasm工具包，使得ceph可以正确通过汇编语句访问硬件。因此需要手动安装yasm工具包，即：#apt-get install yasm。之后按照http://my.oschina.net/linuxhunter/blog/682013重新手动编译并安装ceph。

五、优化结果。

    基于yasm工具包编译后的ceph，再经过rados bench测试后发现在perf top中ceph-osd进程中crc32_iscsi_00函数占用8%左右的CPU时间，而crc32_iscsi_00函数正是被ceph_crc32_intel_fast函数所调用。因此基于yasm编译后的ceph会充分利用硬件CPU特性来计算crc32的值，因此cpu占用率会下降很多，从35%下降到8%。

转载于:https://my.oschina.net/linuxhunter/blog/685768