""" 提取文档数超过10000的数据 按照某个字段的值具有唯一性进行升序, 按照@timestamp进行降序, 第一次查询,先将10000条数据取出, 取出最后一个时间戳, 在第二次查询中,设定@timestamp小于将第一次得到的最后一个时间戳, 同时设定某个字段的值具有唯一性进行升序, 按照@timestamp进行降序, """ from elasticsearch import Elasticsearch import os write_path = "E:\\公司\\案例数据采集\\olt告警案例分析\\10000_data.txt" es = Elasticsearch(hosts="", timeout=1500) write_file = open(write_path,
python批量从es取数据(文档数超过10000)
最新推荐文章于 2024-08-20 09:09:43 发布
该博客介绍了一个使用Python从Elasticsearch(ES)中批量提取超过10000条数据的方法。通过设置查询条件,按特定字段升序和@timestamp降序获取数据,首次抓取10000条记录并存储最后一个时间戳。后续查询通过设置时间戳范围继续获取剩余数据,直至所有数据提取完毕。
摘要由CSDN通过智能技术生成