45.1 deep Paging 性能优化
- 深度分页性能问题
- ES中有个配置: index.max_result_window, 默认是10000条数据, 如果分页的数据超过10000, 就拒绝返回结果
- 深度分页的解决方案
- 方案一:用scroll遍历方式
- 方案二:search after 方式
45.2 利用scroll遍历方式
- scroll分为初始化和遍历两步, 初始化时将所有符合搜索条件的搜索结果缓存起来,可以理解为快照
- 在遍历时, 从这个快照中取数据, 也就是说在初始化后,对索引插入、删除、更新数据都不会影响遍历结果
- 初始化
- 后面跟的两个参数: scroll 代表缓存暂存时间, 其他的和普通search求相同
- 执行完命令后会返回一个_scroll_id, 用来下次去数据的时候使用
post /student/_search?scroll=1m&size=2
{
"query":{"match_all":{}}
}
- 遍历查询
- 这里的scroll_id是scroll初始化的唯一标识, 它可能是上一次遍历取回的_scroll_id或者是初始化返回的_scroll_id, 两个值应该是一样的
get /_search/scroll
{
"scroll":"1m",
"scroll_id":"上面初始化时返回的_scroll_id"
}
45.3 search after 方式
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OcigUiKv-1658133186417)(https://upload-images.jianshu.io/upload_images/19745945-4343dee6b36016c5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
45.4 三种分页方式比较
大数据视频推荐:
CSDN
大数据语音推荐:
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通