使用python-api批量修改数据

写在前面

之前使用es都是通过JavaApi进行操作,之所以使用java的原因是因为在工程里使用的开发语言就是java,随着对脚本语言的逐渐了解现在开始尝试使用python提供的api对es进行操控

elasticsearch库介绍

使用python操作es有很多种方法,es本身对外也提供RESTApi让我们去调用,当然本质上python的库(elasticsearch)实际上也是对esRESTApi命令的封装

安装

安装相对简单直接使用pip安装即可

pip install elasticsearch

连接

包然后直接连接即可

from elasticsearch import Elasticsearch

es = Elasticsearch('192.168.100.110:9400')

发送搜索请求

这是一个简单的wildcard查询,直接将写好的请求体作为一个map交个es即可

body = {
    "query": {
        "bool": {
            "should": [
                {
                    "wildcard": {
                        "stem.keyword": {
                            "value": "*<p>*"
                        }
                    }
                }
            ]
        }
    }, "size": 200
}

es.search(index='index', body=body)

批量写入

es提供一次请求批量写入的RESTApi这个操作在开发中是非常常用的,尤其是我们需要些一些脚本处理es中的数据,使用bulk会大大提高效率

这里简单说一下,es的bulk写入格式官方文档
根据官方文档介绍我们需要将多组操作写入到请求体中,这种情况我们可以使用elasticsearch库提供的帮助api来完成官方文档

def outBody():
    for element in source['hits']['hits']:
        yield {
            "_op_type": "update",
            "_id": element['_id'],
            "_index": element['_index'],
            "_type": element['_type'],
            "doc": element['_source']
        }

通过声明一个回调函数来提供一组可递归的数据即可

 search = es.search(index='index', body=body)
    tags = utils.filter_tags(str(search))
    source = eval(tags)
    requestBody = set()
    bulk(es, method_name())