es查询大文本效率_ElasticStack系列之十七 & 大文本搜索性能提升方案

1. 什么是大文本？具体是什么？

首先需要理解，ElasticSearch 建立索引完成全文检索的前提是将待检索的信息导入到 ElasticSearch 中。而有的信息对应的正文内容会非常的大，可能达到 1MB ~ 3MB 左右字节，这个内容就认为是大文本，一般我们都将该内容存储到名为 content 字段中，进而对这个 Content 字段进行全文检索&高亮显示，就会存在检索效率低下的问题，更有甚者耗时可能达到 30s 左右。

这点，作为习惯了搜索引擎极速体验的用户，是不能容忍的。

2. 问题描述

从检索症状来看：

1. 翻页到 1000+ 页(每页 10 条数据)以上，响应时间会比较长

2. 当遇到某些大文件的时候，响应时间尤其长，超过 30s 以上返回高亮结果

3. 问题排查与优化

1. 限定返回记录条数。不提供直接访问末页的入口

从百度、360、搜狗等搜索引擎都不提供访问末页的请求方式，都是基于点击上一页、下一页来逐页访问。其实这个从用户的角度也很好理解，搜索引擎返回的前面的数据都是最相关的，也是用户最关心的信息。ElasticSearch 的默认支持的数据条数是 10000 条，所以最好最大条数也定位 10000 条或者比这个数值更小。

2. from/size 相应慢问题

[from + size 机制]

当 ElasticSearch 相应请求时，它必须确定 docs 的顺序、排列相应的结果。如果请求的页数较少，ElasticSearch 不会有什么问题，但是如果页数较大时，比如请求第 100 页，ElasticSea