python批量从es取数据（文档数超过10000）

最新推荐文章于 2024-08-20 09:09:43 发布

sxf_0123

最新推荐文章于 2024-08-20 09:09:43 发布

阅读量6.2k

点赞数 1

分类专栏：数据提取文章标签： python提取数据

本文链接：https://blog.csdn.net/sxf_123456/article/details/80373818

版权

该博客介绍了一个使用Python从Elasticsearch（ES）中批量提取超过10000条数据的方法。通过设置查询条件，按特定字段升序和@timestamp降序获取数据，首次抓取10000条记录并存储最后一个时间戳。后续查询通过设置时间戳范围继续获取剩余数据，直至所有数据提取完毕。

摘要由CSDN通过智能技术生成

"""
提取文档数超过10000的数据
按照某个字段的值具有唯一性进行升序，
按照@timestamp进行降序，
第一次查询，先将10000条数据取出，
取出最后一个时间戳，
在第二次查询中，设定@timestamp小于将第一次得到的最后一个时间戳，
同时设定某个字段的值具有唯一性进行升序，
按照@timestamp进行降序，
"""

from elasticsearch import Elasticsearch
import os

write_path = "E:\\公司\\案例数据采集\\olt告警案例分析\\10000_data.txt"
es = Elasticsearch(hosts="", timeout=1500)
write_file = open(write_path,