在Elasticsearch6.0中,引入了一个新的特征,叫Index Sorting(索引排序)。用户可以将索引数据按照指定的顺序存储在硬盘上,这样在搜索排序取前N条时,不需要访问所有的匹配中的记录再进行排序,只需要访问前N条记录即可。
Lucene中的Index Sorting
很多年以前,Lucene引入了一个工具叫做IndexSorter。这个工具的作用是从一个已有的索引中取数,然后按照指定的字段排序输出到另一个索引中。当然,这个排好序的索引是不允许用户进行数据修改的,所以用户每次修改了源索引,必须要重新构建生成目标索引。IndexSorter是Lucene第一次尝试在索引阶段,直接将数据排序存储到硬盘上。
有了索引排序的概念以后,另一个“early termination(早期中断)”概念也被引入。假设你要搜索按照日期排序的前N条记录时,如果索引在硬盘上已经按照日期排好序了,那么我们只需访问匹配搜索条件的前N条记录,就可以中断请求。这就是早期中断的概念。很明显,早期中断带来了巨大的性能提升,不需要访问所有的匹配中的记录,不需要再搜索时排序。但是,IndexSorter也有问题,不能适应频繁更新的索引。这又引入了一个新的想法,在在索引Merge阶段进行排序。
Lucene的提升
Lucene会定期的刷新产生一个新的段(Segment),这个新的段包含了自从上次刷新以后新到达的所有数据。一旦刷新产生了段,数据就可以被搜索展示了。因为刷新频繁的发生,Elasticsearch 1s刷新一次,所以会产生大量的段文件,为了限制段文件的数量,Lucene会在后台定期的合并(merge)这些段文件。合并其实就是将多个小文件合并成一个大文件&#