Elastic search问题笔记: scroll查询数据

最新推荐文章于 2024-08-19 08:36:18 发布

jianblog

最新推荐文章于 2024-08-19 08:36:18 发布

阅读量6.7k

点赞数 1

分类专栏： Elastic 文章标签： elasticsearch

本文链接：https://blog.csdn.net/jianblog/article/details/55006848

版权

本文探讨了Elasticsearch中使用Scroll API进行分页查询的问题。当普通查询受限时，Scroll API提供了持续获取大量数据的手段。然而，在实际操作中，遇到滚动查询在获取30条记录后抛出'NotFoundError: TransportError(404, 'search_phase_execution_exception', 'No search context found for id [874876]')'的错误。在尝试使用curl命令对比测试时，发现scroll_id可能在查询过程中发生变化，而Elasticsearch.scroll方法返回的结果并未包含新的scroll_id，这使得问题更加复杂。" 93419779,7677251,springboot与mybatis集成机制深度解析,"['springboot框架', 'mybatis框架', '自动配置', '数据访问']

摘要由CSDN通过智能技术生成

elastic search在普通方式查询时会返回记录总数以及开头的若干条，即便指定from和相应的长度size也有总数限制。根据文档介绍，这时需要通过scroll分页查询，在初次查询时指定改方式，之后不断的调用scroll方法针对同_scroll_id会得到后续数据。就像通过一个固定的游标以及指定的窗口大小来不断滚动获得新的数据。

from elasticsearch import Elasticsearch


if __name__ == '__main__':
    es =elasticSearch('elk.dev')

    page = es.search(index='prod_nginx_20170211', _source=['localtime', 'request'], scroll='2m', size=10)
    sid = page['_scroll_id']
    page_size = page[