记录一次线上solr more like this搜索性能问题的排查

最近线上系统，试题查重solr性能有点问题，排查如下。

首先，我们用的是solr 的 more like this 指令查询相似文档，比如查询指令如下：

{!mlt qf=textStem mintf=1 mindf=1 fl=*}2768288021012480

登录solr控制台进行查询，监控Network如下图

发现请求总耗时5s多，进一步查看细分耗时情况如下图

 

Waiting(TTFB) ：TTFB全称是Time To First Byte，表示等待响应获取到第一个字节的时间

Content Download：表示响应内容完全接收完花费的时间。

初步一看，以为是网络问题，但是再测试网速后发现并没有异常。然后注意到solr自己打印出的查询耗时其实只有600毫秒，如图。

为什么查询只有600毫秒，但是实际数据输出却花了5s，网络也没问题。

然后就想到应该是磁盘IO的问题，solr虽然很快查询出了数据，但是数据要从硬盘中读出来的过程可能是个瓶颈。如何验证我的猜想呢？

于是自然想到监控一下磁盘IO的情况，找到如下命令：

iostat -x 1 100

上面的命令表示，监控磁盘IO的情况，每秒1次，一共监控100次，打印日志如下：

%util表示磁盘IO总的饱和度百分比。

我从solr控制台快速点击几次查询，发现%util立马飙升到100%，显然元凶找到了。

另外还用 iotop命令监控了一下进程的IO情况，如下：

solr每秒读取了18.6MB，看来我们solr服务压力比较大。

solr本身对硬盘读写性能要求也比较高，要想获取更好的搜索性能，配备一块好的固态硬盘是很有必要的。

附：测试硬盘读写性能

先用 df -h 命令查看挂载的所有磁盘，比如我们solr是放在 /dev/sda5这块盘上。

然后测试这块盘的读性能

hdparm -t /dev/sda5

 每秒84MB