elasticsearch index sorting 索引预排序

预排序概要

  Elasticsearch的底层索引工具为Lucene，Lucene通过segment进行索引文件的管理存储，默认情况下，segment中文档按照自增Id排序（写入时Lucene会分配一个Id），查询时根据文档Id顺序遍历，查找所有满足条件的文档。

因此，假设我们的检索场景为基于某字段进行排序，如果底层文件可以同样按照这个字段进行排序，那是否会带来检索的一些优化呢？

   答案是肯定的，在检索阶段：查找top k文档时，默认需要遍历所有文档才可以找到所有的相关文档，但当配置了索引排序后，如果检索排序与索引排序一致，则每个分片上只需要检索前k个文档即可，这样便可以提前结束查询，减少计算和性能损耗。
  Elasticsearch6.X版本增加了一个新功能，即Index Sorting，允许我们在索引创建时指定一个或多个字段进行排序，使用或配置方法如下：

PUT twitter
{
    "settings" : {
        "index" : {
            "sort.field" : "date", 
            "sort.order" : "desc" 
        }
    },
    "mappings": {
        "properties": {
            "date": {
                "type": "date"
            }
        }
    }
}

上述命令配置了twitter索引在写入时按照date的降序进行索引构建，即segment上的文档按照date降序排列。在检索时，如果考虑如下搜索query：

GET /twitter/_search
{
    "size": 10,
    "sort": [
        { "date": "desc" }
    ]，
    “track_total_hits”: false
}

因为底层segment已经预排序，所以每个segment只需要取出前10个文档进行比较，这样可以优化每个分片的查询时间。

预排序使用说明

• 索引如果包含nested字段，则不可以使用；（由于Elasticsearch底层默认nested必需依赖基于doc id的排序）
• 索引预排序只能在索引创建时配置，中途不可以更改或添加；
• 检索加速时，使用track_total_hits参数后，则无法得到总的匹配文档数；
• 配置了index sorting，对写入速度有一定的下降，具体可以参见引文[1]腾讯团队的详细测试；（本地测试，对某索引进行reindex操作，重索引至具有索引排序的索引，es记录的峰值写入速度约为3200/s，重索引至无索引排序的索引，es记录的峰值写入速度约为6000/s）搜索性能尚未进行大规模压测

Reference

[1]. 腾讯云Elasticsearch技术团队 Elasticsearch 6.x索引预排序分析
[2]. Elasticsearch官方文档 Elasticsearch index sorting的使用