【Python】Python 操作 elasticsearch 版本兼容问题导致报错的解决方案

背景

测试小工具功能逻辑是从 elasticsearch 拉取数据进行展示,今天突然发现获取信息为空,服务框架Python Flask 部署在k8s上,由于没有打印错误日志信息,无法得知问题原因

定位过程

登陆容器尝试手动执行报错部分 python 脚本,检查是否有报错,代码如下:

from elasticsearch import Elasticsearch

es = Elasticsearch(
    ["127.0.0.1:9200"], # 连接集群,以列表的形式存放各节点的IP地址
    sniff_on_start=True,    # 连接前测试
    sniff_on_connection_fail=True,  # 节点无响应时刷新节点
    sniff_timeout=300    # 设置超时时间
)
query = {}
query['bool'] = {}
query['bool']['must'] = []
res = es.search(index="index_name", query=query, sort= [{"create_time.keyword": "desc"}])

执行报错,显示错误信息:
在这里插入图片描述
提示在连接 elasticsearch 时,语法逻辑错误导致 elasticsearch 集群连接失败,按照报错提示尝试将代码修改为:

es = Elasticsearch('http://127.0.0.1:9200/')

修改连接方式后可以执行成功,但尝试执行 es.search 进行数据查询时依然报错:
elasticsearch.ApiError: ApiError(406, ‘Content-Type header [application/vnd.elasticsearch+json; compatible-with=8] is not supported’, ‘Content-Type header [application/vnd.elasticsearch+json; compatible-with=8] is not supported’)
在这里插入图片描述
提示错误代码406,上网查询了一下错误信息,有很多文章提示可能由于版本不兼容原因导致报错,在elasticsearch查询了一下更新情况,并对比本地 elasticsearch 插件库版本和服务器版本信息发现

  • 本地版本: elasticsearch 6.3.1
  • 服务器版本:elasticsearch 8.0.0

可以确定是由于版本升级问题导致脚本报错

解决方案

在脚本 requirements.txt 文件中,指定安装插件版本
elasticsearch==6.3.1

重新发布服务后,pip list 检查安装插件版本信息,确认已安装 6.3.1版本 elasticsearch

新的问题

解决版本兼容问题后,可以成功连接 elasticsearch,但 es.search 查询语句依然报错
TypeError: search() got an unexpected keyword argument ‘query’
在这里插入图片描述
阅读 es.search 函数定义源码后,将 query 部分写入body参数中,代码修改为:

res = es.search(index="index_name", body={'query': query, 'from' : data_from, 'size' : size, 'sort' : [{"create_time.keyword": "desc"}]})

修改后执行成功,问题解决

一些思考

  1. 在python requirements.txt 文件中需要定义第三方插件库版本,防止由于插件版本升级导致代码报错问题
  2. 代码编写中,需要多添加日志打印,方便机型问题定位和调试
  3. 虽然问题已经解决,但为什么 es.search 参数由 query 变成 body 后才可以执行成功,还需要继续查找原因
  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
利用Python操作Elasticsearch可以使用elasticsearchelasticsearch-dsl这两个库,也可以使用更为简单的es-pandas库。其中,elasticsearch库提供了与Elasticsearch交互的低级接口,而elasticsearch-dsl库则提供了更高级别的查询构建器和对象映射器。es-pandas库则提供了一种将Elasticsearch数据转换为pandas DataFrame的简单方法。 以下是一个使用elasticsearch库进行查询的例子: ```python from elasticsearch import Elasticsearch # 连接到Elasticsearch es = Elasticsearch() # 查询所有文档 res = es.search(index="my_index", body={"query": {"match_all": {}}}) # 输出结果 for hit in res['hits']['hits']: print(hit['_source']) ``` 以下是一个使用elasticsearch-dsl库进行查询的例子: ```python from elasticsearch import Elasticsearch from elasticsearch_dsl import Search # 连接到Elasticsearch es = Elasticsearch() # 创建查询对象 s = Search(using=es, index="my_index").query("match", title="python") # 执行查询并输出结果 response = s.execute() for hit in response: print(hit.title) ``` 以下是一个使用es-pandas库将Elasticsearch数据转换为pandas DataFrame的例子: ```python from es_pandas import es_pandas # 将Elasticsearch数据转换为pandas DataFrame df = es_pandas.DataFrame({ "host": {"field": "host.keyword"}, "response": {"field": "response_time_ms"}, "timestamp": {"field": "@timestamp", "dtype": "datetime64[ns]"} }, es_url="http://localhost:9200", es_index_pattern="my_index-*") # 输出DataFrame print(df.head()) ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值