1. 什么是大文本?具体是什么?
首先需要理解,ElasticSearch 建立索引完成全文检索的前提是将待检索的信息导入到 ElasticSearch 中。而有的信息对应的正文内容会非常的大,可能达到 1MB ~ 3MB 左右字节,这个内容就认为是大文本,一般我们都将该内容存储到名为 content 字段中,进而对这个 Content 字段进行全文检索&高亮显示,就会存在检索效率低下的问题,更有甚者耗时可能达到 30s 左右。
这点,作为习惯了搜索引擎极速体验的用户,是不能容忍的。
2. 问题描述
从检索症状来看:
1. 翻页到 1000+ 页(每页 10 条数据)以上,响应时间会比较长
2. 当遇到某些大文件的时候,响应时间尤其长,超过 30s 以上返回高亮结果
3. 问题排查与优化
1. 限定返回记录条数。不提供直接访问末页的入口
从百度、360、搜狗等搜索引擎都不提供访问末页的请求方式,都是基于点击上一页、下一页来逐页访问。其实这个从用户的角度也很好理解,搜索引擎返回的前面的数据都是最相关的,也是用户最关心的信息。ElasticSearch 的默认支持的数据条数是 10000 条,所以最好最大条数也定位 10000 条或者比这个数值更小。
2. from/size 相应慢问题
[from + size 机制]
当 ElasticSearch 相应请求时,它必须确定 docs 的顺序、排列相应的结果。如果请求的页数较少,ElasticSearch 不会有什么问题,但是如果页数较大时,比如请求第 100 页,ElasticSea