ES遍历所有搜索结果(Python实现)

ES遍历所有搜索结果(Python实现)

ES的搜索是有数量限制的，因此利用官方提供是scroll API实现了一个对全量数据处理的函数。

def travel_es(es,process_func, **kwargs): 
    """
    遍历es的搜索结果，并使用process_func处理返回的item
    process_func: function to process item. 
    kwargs: arguments same as elasticsearch search api.
    """
    kwargs.setdefault("scroll","2m")
    kwargs.setdefault("size",1000)
    res = es