Python操作ES

 

单一操作

插入 
　　create：必须指定待查询的idnex、type、id和查询体body；缺一不可，否则报错 
　　index：相比于create，index的用法就相对灵活很多；id并非是一个必选项，如果指定，则该文档的id就是指定值，若不指定，则系统会自动生成一个全局唯一的id赋给该文档。 
eg：

body = {"name": 'hyy', 'sex': 'man', 'age': 23}
es = Elasticsearch(['localhost:9200'])
es.index(index='windex', doc_type='wtype', body, id=None)

• 1
• 2
• 3

删除 
　　delete：删除指定index、type、id的文档

es.delete(index='windex', doc_type='wtype',id='wid')

• 1

查找 
　　get：获取指定index、type、id所对应的文档

es.get(index='windex', doc_type='wtype', id=wid)

• 1

更新 
　　update：跟新指定index、type、id所对应的文档 
　　

es.update(index='windex', doc_type='wtype', id=wid, body={待更新字段})

• 1

批量操作

条件查询 
　　search：查询满足条件的所有文档，没有id属性，且index，type和body均可为None。 
　　body的语法格式必须符合DSL（Domain Specific Language ）格式

query = {'query': {'match_all': {}}}# 查找所有文档

query = {'query': {'term': {'name': 'hyy'}}}# 查找名字叫做jack的所有文档

query = {'query': {'range': {'age': {'gt': 20}}}}# 查找年龄大于11的所有文档

allDoc = es.search(index='windex', doc_type='wtype', body=query)

print allDoc

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9

条件删除 
　　delete_by_query：删除满足条件的所有数据，查询条件必须符合DLS格式

query = {'query': {'match': {'sex': 'famale'}}}# 删除性别为女性的所有文档

query = {'query': {'range': {'age': {'lt': 11}}}}# 删除年龄小于11的所有文档

es.delete_by_query(index='windex', body=query, doc_type='wtype')

• 1
• 2
• 3
• 4
• 5

条件更新 
　　update_by_query：更新满足条件的所有数据，写法同上删除和查询

批量插入、删除、更新 
　　bulk：在这重点和大家聊聊bulk方法，前面的所有方法都很简单，唯独这个bulk在笔者开始接触的时候，花费了不少时间；这个方法可以同时执行多个操作，单只请求一次，从而在批量操作的时候，可以很大程度上减少程序系统开销。此外，bulk不仅可以一次性批量执行插入、或者删除操作，还可以在一次请求中，既可以插入、又可以删除和更新操作。 
　　但是需要注意的是，任何一种操作都有固定的文档格式，只有完全符合该格式要求，才可执行成功。废话不多说，直接上代码：

 doc = [
     {"index": {}},
     {'name': 'hyy', 'age': 20, 'sex': 'female', 'address': u'北京'},
     {"index": {}},
     {'name': 'hyy2', 'age': 30, 'sex': 'man', 'address': u'上海'},
     {"index": {}},
     {'name': 'hyy3', 'age': 40, 'sex': 'female', 'address': u'广州'},
     {"index": {}},
     {'name': 'hyy4', 'age': 10, 'sex': 'man', 'address': u'深圳'},
 ]
 doc = [
    {'index': {'_index': 'windex', '_type': 'wtype', '_id': 'id1'}}
    {'name': 'hyy', 'sex': 'man', 'age': 23 }
    {'delete': {'_index': 'windex', '_type': 'wtype', '_id': 'id1'}}
    {"create": {'_index' : 'windex', "_type" : 'wtype', '_id': 'id1'}}
    {'name': 'mh', 'sex': 'female', 'age': 20 }
    {'update': {'_index': 'windex', '_type': 'wtype', '_id': 'id1'}}
    {'doc': {'age': '100'}}
 ]
 es.bulk(index='windex'，  doc_type='wtype', body=doc)

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
•  

　　通过上面两个例子可以看出，在用bulk在批量操作的时候，对于不同的操作类型，一定要与之对应一个操作头信息（eg：{“index”: {}}， {‘delete’: {…}}， …），否则会报TransportError（400, u’illegal_argument_exception’）的错误。 
　　说到这里，在实际过程中，很多时候就会在此处要专门去批凑这样的一个字典数组。假设有如下场景： 
　　如果要批量插入一批数据，如上述第一个例子，则在现有数据集的基础上，很容易想到一个解决方法：通过list的奇偶合并的方法快速实现所需要的字典数组。