python elasticsearch orm_针对elasticsearch提供类似数据库ORM的操作方式

elasticsearch_tool

介绍

python es的辅助工具,提供类似ORM的操作方式

主要借鉴SQLAlchemy的方式

使用说明

目前项目处于测试阶段,由于不同版本的Python/elasticsearch的接口不同,存在一些差异,目前该项目依赖于Python/elasticsearch5.0.0, 已知最新版本的Python/elasticsearch会出错,主要是接口参数错误 该问题会在后期进行解决,

测试环境为: Python3.6 elasticsearch-5.6.0 elasticsearch-analysis-ik-5.6.0

安装

pip3 install elasticsearch_tool

简单使用

"""

搜索测试工具,数据填充脚本

"""

import random, time

from elasticsearch_tool import Doc, Fields, NOT, OR

from datetime import datetime

from elasticsearch_tool.config import Config

# 配置es服务器地址信息

Config.set_host('localhost', port='9200')

words = ['单词', '词汇', '检索', '我了', '艾克', '维护费', '没理解', '接是', '咯怕', '那么', '行风', '奶茶店', '全网通', '雨天',

'末尾', '已收到', '就好撒大家看法', '是你们', '你们', '舞女', '不', '容易', '一样', '是你的', '玩儿一天']

def insert_indices():

text = ''

word = []

id = int(time.time() * 1000)

num = random.randint(000, 999)

for _ in range(10):

n = random.randint(0, len(words) - 1)

text += words[n]

for _ in range(3):

n = random.randint(0, len(words) - 1)

word.append(words[n])

return {

'text': text,

'word': word,

'id': id,

'num': num,

'date': datetime.today(),

'has_go': num % 2 == 1,

'height': time.time()

}

class DocTry(Doc):

# 配置文档的索引值,类型值,以及文档id的字段

__indices__ = 'fifth'

__types__ = 'docs'

__pk__ = 'id'

# 设定文档字段和类型

text = Fields.String

word = Fields.List

id = Fields.Integer

num = Fields.Integer

date = Fields.Datetime

has_go = Fields.Boolean

height = Fields.Float

if __name__ == '__main__':

for _ in range(15):

time.sleep(0.01)

data = insert_indices()

doc = DocTry()

for k, v in data.items():

doc.__setattr__(k, v)

top = doc.text > 'str'

nop = doc.num > 20

doc.save()

# 检索text字段中包含[检索, 检, 索]的文档,这是es默认的简单搜索

DocTry().search(text='检索').all()

# 搜索文档中:num>50, text匹配词汇[单词],并且不含有词汇[一样],而且必须满足(text包含词汇[知识], 或者文档id大于100,

# 或者word字段的词汇包含['你们', '那么', '已收到', '一样']之一)这些条件之一,且has_go字段不等于True的所有文档

all_re = DocTry().filter(DocTry.num > 50,

DocTry.text=='单词',

DocTry.text!='一样',

OR(DocTry.text == '知识',

DocTry.id > 100,

DocTry.word.in_(['你们', '那么', '已收到', '一样']),),

NOT(DocTry.has_go == False)).all()

for result in all_re:

print(result.query_to_dict())

Query = DocTry()

# 全文检索和排序, q=检索词 即在所有字段范围内检索, 注意,get 和search方法仅接受关键字参数,不接受比较运算的结果以及位置形参

Query.search(q='检索').order_by('num').all()

Query.get(q='检索').order_by('date').first()

# 仅获取部分字段的值

result = Query.search(q='单词').filter(DocTry.num>50).values('text', 'id', 'num').all()

print(result)

# 根据id检索

doc_id = Query.get(id=12345678).first()

# 更新, 推荐该方式

doc_id.num = 50

doc_id.save()

# 局部更新方式, 该方式不会改变当前对象, 其区别主要是节省网络资源

doc_id.update(text='新的文档内容')

# 删除

doc_id.delete()

# 判断是否存在及数量

Query.get(q='单词').exists() # True/False

Query.get(q='词汇').count() # int

# 分页, 分页不能单独调用offset(), 且调用顺序必须为 .limit().offset()

Query.search(q='').limit(30).offset(0).all()

需要注意的是: 任何查询在执行all()/first()方法之前,都不会进行查询,所有匹配操作都要在这两个方法之前调用(exists()和count()除外,这两个并不是查询而是统计) 全文检索的关键字是 q, 所以建立文档时不要用q作为字段名,相同的还有 _all

如果字段类型为列表,想查询字段包含某个词的文档,可以使用字段方法.in_(), 接受一个列表,元组 NOT和OR不支持嵌套,如果想进行特别复杂的查询,文档提供一个接口 Doc.with_raw()

body = {

'query': {

'match': {

'text': '单词'

}

}

}

resu = Query.order_by('num').limit(3).with_raw(body).all()

print([res.query_to_dict() for res in resu])

该方法接受一个符合es语法的查询结构,需要为字典格式, 该接口仍可配合分页,存在,数量,排序等非查询接口使用

更多使用方法,请见:

参与贡献