分布式系统经典问题深度分页

分布式文件系统必定面对的问题：深度分页

问题：如何在数据分片存储的情况下， 获取前1000个文档？

答案：先从每个分片上获取前1000个文档， 然后由处理节点聚合所有分片的结果之后，再排序获取前1000个文档。

此时页数越深，处理的文档就越多，占用的内存就越大，耗时就越长。这就是深度分页问题。

为了尽量避免深度分页为题，ES通过设定index.max_result_window限定最多到10000条数据。

 

在设计分页系统时，有一个分页数十分重要：

total_page=(total + page_size -1) / page_size

总分页数= (文档总数+认为设定的文档大小-1)   / 人为设定的文档大小

但是在搜索引擎中的意义并不大，因为如果排在前面的结果都不能让用户满意，那么越往后，越不能让用户满意。