python的Elasticsearch分页实践记录

记录使用中遇到的坑及处理方法

es查询时,最大条数1w,调大限制等处理没研究,暂时分页获取

1. from + size

使用偏移+条数分页,使用过,超过1w也会报错,报的是from+size不能超过1w

2. 使用scroll分页,反馈第一个快照查询的结果和快照的id,可继续查询

data = es.search(index=index_name, scroll=scroll, body=request_body, params=request_params)
ret = data['aggregations']
sid = data['_scroll_id']


# 分页
scroll_data = es.scroll(scroll_id=sid, scroll='2m')

sid = scroll_data ['_scroll_id']

scroll_data1 = es.scroll(scroll_id=sid, scroll='2m')

遇到报错:(404, ‘search_phase_execution_exception’, 'No search context found for id [123]')

解决:是因为快照过期时间设置过短,id自动清除了,可以更改时间,scroll="15m",就是15分钟

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值