python连接elasticsearch,并通过scroll查询满足条件的全部数据

            try:
                es_scroll_size = 1000
                with Elasticsearch(
                        [self.hosts],  # 连接集群,以列表的形式存放各节点的IP地址
                        sniff_on_start=True,  # 连接前测试
                        sniff_on_connection_fail=True,  # 节点无响应时刷新节点
                        sniff_timeout=60  # 设置超时时间
                ) as es_client:
                    search_data = es_client.search(index=self.indexname, size=es_scroll_size, scroll='5m', body={
                        "query": {
                            "bool": {
                                "must": [
                                    {"term": {
                                        "name": {
                                            "value": self.name
                                        }
                                    }},
                                    {"range": {
                                        "datetime": {
                                            "gte": self.dt_start,
                                            "lte": self.dt_to
                                        }
                                    }}
                                ]
                            }
                        },
                        "sort": [
                            {
                                "datetime": {
                                    "order": "asc"
                                }
                            }
                        ]
                    })
                    hits_source = search_data['hits']['hits']
                    # es查询出的结果总量
                    total = search_data['hits']['total']
                    # 游标用于输出es查询出的所有结果
                    scroll_id = search_data['_scroll_id']
                    for i in range(0, int(total['value'] / es_scroll_size) + 1):
                        # scroll参数必须指定否则会报错
                        query_scroll = es_client.scroll(scroll_id=scroll_id, scroll='5m')['hits']['hits']
                        hits_source += query_scroll
                    if hits_source and len(hits_source) > 0:
                        source_arr = []
                        for source in hits_source:
                            source_arr.append(source['_source'])
                        self.data = source_arr

            except Exception as e:
                print(e)
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值