python读写elasticsearch

于 2024-04-19 02:15:24 发布
阅读量379 收藏 8
点赞数 4
分类专栏： python教程 文章标签： python elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51133173/article/details/137944197
版权

目录

安装es客户端

插入数据

查找数据

插入2条数据

搜索数据

搜索全部数据

字段值搜索

浏览器查看索引

修改数据

立刻刷新数据

查数据量

查看索引是否存在

删除索引

新建索引

获取索引名称

curl转requests

计算IP

查向量数量

参考

安装es客户端

pip install elasticsearch==8.6

插入数据

from elasticsearch import Elasticsearch

es = Elasticsearch('http://es机器ip:9200')
print(es)

e1 = {'name': 'maomao','age':4,'color':'grey'}
res = es.index(index='love', document = e1)
print(res)
<Elasticsearch(['http://xx:9200'])>
{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_version': 1, 'result': 'created', '_shards': {'total': 2, 'successful': 1, 'failed': 0}, '_seq_no': 0, '_primary_term': 1}

查找数据

from elasticsearch import Elasticsearch

es = Elasticsearch('http://es机器ip:9200')
print(es)

res = es.get(index='love',id='WvtURIkBNiG-_5JL_iRN')
print(res)
print(res['_source'])
<Elasticsearch(['http://xx:9200'])>
{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_version': 1, '_seq_no': 0, '_primary_term': 1, 'found': True, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}
{'name': 'maomao', 'age': 4, 'color': 'grey'}

插入2条数据

from elasticsearch import Elasticsearch

es = Elasticsearch('http://xx:9200')

e1 = {'name': 'maomao','age':5,'color':'grey'}
e2 = {'name': 'benben','age':9,'color':'yellow'}
res1 = es.index(index='love', document = e1)
print(res1)
res2 = es.index(index='love', document = e2)
print(res2)
{'_index': 'love', '_id': 'XPtcRIkBNiG-_5JLmCSw', '_version': 1, 'result': 'created', '_shards': {'total': 2, 'successful': 1, 'failed': 0}, '_seq_no': 1, '_primary_term': 1}
{'_index': 'love', '_id': 'XftcRIkBNiG-_5JLmCTD', '_version': 1, 'result': 'created', '_shards': {'total': 2, 'successful': 1, 'failed': 0}, '_seq_no': 2, '_primary_term': 1}

搜索数据

搜索全部数据
from elasticsearch import Elasticsearch

es = Elasticsearch('http://xx:9200')

res = es.search(index='love', query={'match_all':{}})
print(res)
print(res['hits'])
print(res['hits']['hits'])

print('\n------------------------')
for terms in res['hits']['hits']:
    print(terms)
{'took': 1, 'timed_out': False, '_shards': {'total': 1, 'successful': 1, 'skipped': 0, 'failed': 0}, 'hits': {'total': {'value': 3, 'relation': 'eq'}, 'max_score': 1.0, 'hits': [{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}, {'_index': 'love', '_id': 'XPtcRIkBNiG-_5JLmCSw', '_score': 1.0, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}, {'_index': 'love', '_id': 'XftcRIkBNiG-_5JLmCTD', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}]}}
{'total': {'value': 3, 'relation': 'eq'}, 'max_score': 1.0, 'hits': [{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}, {'_index': 'love', '_id': 'XPtcRIkBNiG-_5JLmCSw', '_score': 1.0, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}, {'_index': 'love', '_id': 'XftcRIkBNiG-_5JLmCTD', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}]}
[{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}, {'_index': 'love', '_id': 'XPtcRIkBNiG-_5JLmCSw', '_score': 1.0, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}, {'_index': 'love', '_id': 'XftcRIkBNiG-_5JLmCTD', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}]

------------------------
{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}
{'_index': 'love', '_id': 'XPtcRIkBNiG-_5JLmCSw', '_score': 1.0, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}
{'_index': 'love', '_id': 'XftcRIkBNiG-_5JLmCTD', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}
字段值搜索
from elasticsearch import Elasticsearch

es = Elasticsearch('http://xx:9200')

res = es.search(index='love', query={'match':{'color':'grey'}})
print(res)
print(res['hits'])
print(res['hits']['hits'])

print('\n------------------------')
for terms in res['hits']['hits']:
    print(terms)
{'took': 6, 'timed_out': False, '_shards': {'total': 1, 'successful': 1, 'skipped': 0, 'failed': 0}, 'hits': {'total': {'value': 2, 'relation': 'eq'}, 'max_score': 0.4700036, 'hits': [{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_score': 0.4700036, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}, {'_index': 'love', '_id': 'XPtcRIkBNiG-_5JLmCSw', '_score': 0.4700036, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}]}}
{'total': {'value': 2, 'relation': 'eq'}, 'max_score': 0.4700036, 'hits': [{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_score': 0.4700036, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}, {'_index': 'love', '_id': 'XPtcRIkBNiG-_5JLmCSw', '_score': 0.4700036, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}]}
[{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_score': 0.4700036, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}, {'_index': 'love', '_id': 'XPtcRIkBNiG-_5JLmCSw', '_score': 0.4700036, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}]

------------------------
{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_score': 0.4700036, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}
{'_index': 'love', '_id': 'XPtcRIkBNiG-_5JLmCSw', '_score': 0.4700036, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}
浏览器查看索引

修改数据

from elasticsearch import Elasticsearch

es = Elasticsearch('http://xx:9200')

es.index(index='love',id='XPtcRIkBNiG-_5JLmCSw',document={'name':'big-maomao'})

res = es.search(index='love', query={'match_all':{}})
for terms in res['hits']['hits']:
    print(terms)
{'_index': 'love', '_id': 'WvtURIkBNiG-_5JL_iRN', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}
{'_index': 'love', '_id': 'XftcRIkBNiG-_5JLmCTD', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}
{'_index': 'love', '_id': 'XPtcRIkBNiG-_5JLmCSw', '_score': 1.0, '_source': {'name': 'big-maomao'}}

立刻刷新数据

from elasticsearch import Elasticsearch

es = Elasticsearch('http://xx:9200')

res = es.search(index='love', query={'match_all':{}})
for terms in res['hits']['hits']:
    print(terms)

es.delete(index='love',id='XvtMRYkBNiG-_5JLzSQ1')

es.indices.refresh(index='love')

print('\n-----------')
res = es.search(index='love', query={'match_all':{}})
for terms in res['hits']['hits']:
    print(terms)
{'_index': 'love', '_id': 'XvtMRYkBNiG-_5JLzSQ1', '_score': 1.0, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}
{'_index': 'love', '_id': 'X_tMRYkBNiG-_5JLzSRa', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}
{'_index': 'love', '_id': 'YPtPRYkBNiG-_5JLSSTh', '_score': 1.0, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}
{'_index': 'love', '_id': 'YftPRYkBNiG-_5JLSST8', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}
{'_index': 'love', '_id': 'YvtQRYkBNiG-_5JLBySH', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}
{'_index': 'love', '_id': 'Y_tQRYkBNiG-_5JLSyST', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}

-----------
{'_index': 'love', '_id': 'X_tMRYkBNiG-_5JLzSRa', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}
{'_index': 'love', '_id': 'YPtPRYkBNiG-_5JLSSTh', '_score': 1.0, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}
{'_index': 'love', '_id': 'YftPRYkBNiG-_5JLSST8', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}
{'_index': 'love', '_id': 'YvtQRYkBNiG-_5JLBySH', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}
{'_index': 'love', '_id': 'Y_tQRYkBNiG-_5JLSyST', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}

查数据量

from elasticsearch import Elasticsearch

es = Elasticsearch('http://xx:9200')

res = es.search(index='love',query={'match_all': {}})
for i in res['hits']['hits']:
    print(i)

print('\n-----')
print(es.count()['count'])
{'_index': 'love', '_id': 'X_tMRYkBNiG-_5JLzSRa', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}
{'_index': 'love', '_id': 'YPtPRYkBNiG-_5JLSSTh', '_score': 1.0, '_source': {'name': 'maomao', 'age': 5, 'color': 'grey'}}
{'_index': 'love', '_id': 'YftPRYkBNiG-_5JLSST8', '_score': 1.0, '_source': {'name': 'benben', 'age': 9, 'color': 'yellow'}}
{'_index': 'love', '_id': 'YvtQRYkBNiG-_5JLBySH', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}
{'_index': 'love', '_id': 'Y_tQRYkBNiG-_5JLSyST', '_score': 1.0, '_source': {'name': 'maomao', 'age': 4, 'color': 'grey'}}

-----
5

查看索引是否存在

from elasticsearch import Elasticsearch

es = Elasticsearch('http://xx:9200')

print(es.indices.exists(index='h'))
print(es.indices.exists(index='love'))
False
True

删除索引

from elasticsearch import Elasticsearch

es = Elasticsearch('http://xxx:9200')

if es.indices.exists(index='love'):
    es.indices.delete(index='love')
    print('delete index=love')

print(es.search(index='love', query={'match_all':{}}))

新建索引

from elasticsearch import Elasticsearch

es = Elasticsearch('http://xx:9200')

if es.indices.exists(index='love'):
    es.indices.delete(index='love')
    print('delete index=love')

if not es.indices.exists(index='love'):
    es.indices.create(index='love')
    print('create index=love')

res = es.search(index='love', query={'match_all':{}})
print(res)
print(res['hits']['hits'])

es.index(index='love', document={'hello': '000'})
es.indices.refresh()

print('\n---------')
res = es.search(index='love', query={'match_all': {}})
print(res['hits']['hits'])
delete index=love
create index=love
{'took': 0, 'timed_out': False, '_shards': {'total': 1, 'successful': 1, 'skipped': 0, 'failed': 0}, 'hits': {'total': {'value': 0, 'relation': 'eq'}, 'max_score': None, 'hits': []}}
[]

---------
[{'_index': 'love', '_id': 'aPuNRYkBNiG-_5JL_iT6', '_score': 1.0, '_source': {'hello': '000'}}]

获取索引名称

from elasticsearch import Elasticsearch

es = Elasticsearch('http://xx:9200')
res = es.indices.get(index='*')
print(res.keys())
dict_keys(['image-index', 'love'])

curl转requests

计算IP
import requests

headers = {'Content-Type': 'application/json'}
json_data = {"knn": {
                "field": "vector",
                "query_vector": [0.1,0.98995,0.1],
                "k": 1,
                "num_candidates": 100
            }}

res = requests.post('http://xx:9200/test03/_search?pretty',
                    headers=headers,json=json_data)
print(res.json())
{'took': 1, 'timed_out': False, '_shards': {'total': 1, 'successful': 1, 'skipped': 0, 'failed': 0}, 'hits': {'total': {'value': 1, 'relation': 'eq'}, 'max_score': 0.60399497, 'hits': [{'_index': 'test03', '_id': 'h_v5TYkBNiG-_5JLvCS6', '_score': 0.60399497, '_source': {'vector': [0.1, 0.1, 0.98995]}}]}}
查向量数量
import requests

# curl -X GET "localhost:9200/_cat/count/my-index-000001?v=true&pretty"
res = requests.get('http://xx:9200/_cat/count/test03')
print(res.text.strip().split(' ')[-1])
参考

  • https://blog.csdn.net/weixin_39723544/article/details/109237175

  • https://www.elastic.co/guide/en/elasticsearch/reference/8.6/indices-create-index.html

  • https://blog.csdn.net/qq_37754830/article/details/126856337

Universe-hello
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python-ElasticSearch搜索
奔跑的豆子的专栏
08-03 2万+
Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可能是目前存在的，不论开源还是私有的，拥有最先进，高性能和全功能搜索引擎功能的库。但是 Lucene 仅仅只是一个库。为了利用它，你需要编写 Java 程序，并在你的 java 程序里面直接集成 Lucene 包。 更坏的情况是，你需要对信息检索有一定程度的理解才能明白
使用Python往Elasticsearch插入数据
热门推荐
Ricky点滴
05-05 2万+
使用Python往Elasticsearch插入数据 在这里，我使用Elasticsearch官方推荐elasticsearch第三方包来讲述插入数据的两种方法。 1. index 这是很简单的一个插入数据的方法，每条数据调用一个index方法，代码如下from datetime import datetime from elasticsearch import Elasticsearches
python操作elasticsearch(插入数据)
低调说
05-17 1244
索引 = 数据库，没有自动创建 先连接，后操作，先安装包 pip install elasticsearch #!/usr/bin/python import datetime from elasticsearch import Elasticsearch es = Elasticsearch([{"host": "x.x.x.x", "port": 9200}]) body = { 'local_ip': 'x.x.x.x', 'queue_id': 'CC1681446071',
ElasticSearch - （）使用Python单例模式批量写入数据
造梦师Fred的博客
12-26 1666
1.批量写入 如果有大量的数据，一次插入一条肯定效率太慢，我们可以使用elasticsearch模块导入helper，通过helper.bulk来批量处理大量的数据。首先我们将所有的数据定义成字典形式，各字段含义如下： from elasticsearch import Elasticsearch, helpers es = Elasticsearch(**es_settings) # 批量数...
python-elasticsearch从创建索引到写入数据
weixin_33767813的博客
03-07 603
2019独角兽企业重金招聘Python工程师标准>>> ...
python连续写入数据之间用什么隔开_elasticsearch之使用Python批量写入数据
weixin_39990029的博客
11-27 189
顺序写入100条现在我们如果有大量的文档（例如10000000万条文档）需要写入es的某条索引中，该怎么办呢？之前学过的一次插入一条肯定不行：import timefrom elasticsearch import Elasticsearches = Elasticsearch()def timer(func):def wrapper(*args, **kwargs):start = time.t...
Python对ElasticSearch获取数据及操作
12-26
使用Python对ElasticSearch获取数据及操作，供大家参考，具体内容如下 Version Python ：2.7 ElasticSearch：6.3 代码： #!/usr/bin/env python # -*- coding: utf-8 -*- """ @Time : 2018/7/4 @Author : ...
es2csv：从Elasticsearch导出到CSV文件
01-30
这个工具通常由Python编写，适用于那些需要对存储在Elasticsearch中的大量数据进行离线分析或者迁移至其他系统的情况。它提供了命令行接口（CLI），使得用户可以方便地执行数据导出任务。 ### Elasticsearch基础...
学习Python3
02-28
- Elasticsearch：Python 客户端库，用于集成和操作 Elasticsearch 数据库，进行全文搜索和分析。 - Hadoop：Python 可以通过 PyHadoop 接口与 Hadoop 集群进行交互，进行分布式计算。 - PySpark：Apache Spark ...
python-docs-es：Python文档的西班牙语翻译
02-04
8. **文件和I/O**：讲解如何在Python中读写文件，处理文本和二进制数据，以及使用不同的I/O模式。 9. **网络编程**：介绍如何进行网络通信，如HTTP请求、套接字编程和Web服务。 10. **并发和多线程**：讨论Python...
PyPI 官网下载 | elasticsearch-django-5.1.tar.gz
01-31
Elasticsearch的分布式特性使得它能够高效处理大量数据的读写，而Django则负责处理业务逻辑和前端展示。这种结合为大数据分析、实时搜索和复杂查询提供了强大的解决方案。 **应用场景** 1. **日志分析**: 收集和...
使用python生成大量数据写入es数据库并查询操作2
IT之一小佬的博客
09-18 1571
使用python生成大量数据写入es数据库并查询操作
你知道Python如何操作ES吗?(多图版)
a1309525802的博客
08-31 9086
ES前言ES的基本使用(postman版)创建index查看所有的索引查看当前索引删除索引创建文档查询文档ES基本使用(Python版)创建car 的 属性安装连接es的模块使用python脚本插入10000 条数据基本查询 前言 如果没有安装安装ES可以参考这篇文章: Elasticsearch 安装使用及其常见错误现象 ES的基本使用(postman版) ES 和数据库可以进行类比学习。 传统数据库 database Rows columns ES Index Type Document
Python Elasticsearch DSL 查询、过滤、聚合操作实例
最新发布
2401_84003630的博客
04-07 722
Python Elasticsearch DSL 使用简介连接 Es：import elasticsearches = elasticsearch.Elasticsearch([{‘host’: ‘127.0.0.1’, ‘port’: 9200}])先看一下搜索， 是指搜索内容，空格对 查询结果没有影响， 指定个数， 指定起始位置， 可以指定需要显示的数据，如本例中显示在最后的结果中的只有 和 。res_3 = es.search(index=“bank”, q=“Holmes”, size=1, f
Python读写ElasticSearch【自用】
ArYe
05-20 2194
按照和基本调用 安装 conda insatll elasticsearch 基本调用 from elasticsearch import Elasticsearch, helpers HOSTS = 'http://abc.com' INDEX = 'abc' es = Elasticsearch(HOSTS) js = es.search(INDEX, {'query': {'match_all': {}}}) print(js) 封装自用 from elasticsearch import E
python 写入es,Python 批量写入 Elasticsearch 脚本
weixin_30458701的博客
03-25 908
Elasticsearch 官方和社区提供了各种各样的客户端库，在之前的博客中，我陆陆续续提到和演示过 Perl 的，Javascript 的，Ruby 的。上周写了一版 Python 的，考虑到好像很难找到现成的示例，如何用 python 批量写数据进 Elasticsearch，今天一并贴上来。#!/usr/bin/env pypy#coding:utf-8import reimport sy...
python操作es数据
a18852867035的博客
03-23 7862
不知不觉进入职场已经大半年了，有些收获，同时又感觉自己的渺小，感觉自己还需要学习很多。最近项目中需要利用Python读写es数据，试了网上的一些方法，有的方法已经过期了，有的报错，花了一段时间才成功搞定。现在将这些方法记录下来，方便自己也方便其它读者。 1）首先安装相应es的包； pip install elasticsearch 2)读取ES数据； from elasticsearch impo...
python 读取elasticsearch数据
luoganttcc的博客
10-18 446
from elasticsearch import Elasticsearch es = Elasticsearch(['x.x.x.x'], timeout=36000) body1 = {"size": 10000, "query": {"match_all": {}}} res1 = es.search(index="goods",scroll='5m', body=body1) print('###################################
Python 操作es数据库
mei1092670355的博客
10-31 874
python es
python操作Elasticsearch
11-10
利用Python操作Elasticsearch可以使用elasticsearch和elasticsearch-dsl这两个库，也可以使用更为简单的es-pandas库。其中，elasticsearch库提供了与Elasticsearch交互的低级接口，而elasticsearch-dsl库则提供了更高级别的查询构建器和对象映射器。es-pandas库则提供了一种将Elasticsearch数据转换为pandas DataFrame的简单方法。 以下是一个使用elasticsearch库进行查询的例子： ```python from elasticsearch import Elasticsearch # 连接到Elasticsearch es = Elasticsearch() # 查询所有文档 res = es.search(index="my_index", body={"query": {"match_all": {}}}) # 输出结果 for hit in res['hits']['hits']: print(hit['_source']) ``` 以下是一个使用elasticsearch-dsl库进行查询的例子： ```python from elasticsearch import Elasticsearch from elasticsearch_dsl import Search # 连接到Elasticsearch es = Elasticsearch() # 创建查询对象 s = Search(using=es, index="my_index").query("match", title="python") # 执行查询并输出结果 response = s.execute() for hit in response: print(hit.title) ``` 以下是一个使用es-pandas库将Elasticsearch数据转换为pandas DataFrame的例子： ```python from es_pandas import es_pandas # 将Elasticsearch数据转换为pandas DataFrame df = es_pandas.DataFrame({ "host": {"field": "host.keyword"}, "response": {"field": "response_time_ms"}, "timestamp": {"field": "@timestamp", "dtype": "datetime64[ns]"} }, es_url="http://localhost:9200", es_index_pattern="my_index-*") # 输出DataFrame print(df.head()) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值