工作中用到了,经过实践探索,总结下来备忘。解决问题第一,文中只写干货,包含了三种方法及实操。
如有帮到你,欢迎点赞收藏哦!
目录
问题产生背景
从es拉取数据时,因为数据量过大,导致查询出来不是想要的所有数据。
查询语法中如果不指定size则返回10条记录;指定size后获取的最高数据量是65536,超过65536条就会报错:
如果数据量远远大于65536呢?只查询65536条数据的话显然不是全额数据量,这里就需要采用分页了。
这里我们不考虑65535是怎么配置的,需不需要改配置,我们从使用方的角度来解决这件事。
方式
1,基于from + size ,该策略最大查询10000条数据,上限太低,