使用python对ES进行批量操作

最新推荐文章于 2024-04-11 18:52:19 发布
最新推荐文章于 2024-04-11 18:52:19 发布
阅读量1.5k 收藏
点赞数
分类专栏： ElasticSearch 文章标签： elasticsearch bulk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44799217/article/details/126822685
版权

在kibana中进行批量操作： 

使用python代码进行对es进行批量操作

示例代码：

from elasticsearch import Elasticsearch

es = Elasticsearch(hosts='http://127.0.0.1:9200')
# print(es)

doc = [
    {"create": {"_index": "test_index", "_id": "5"}},
    {"doc": {"name": "张三", "id": "1"}},
    {"update": {"_index": "test_index", "_id": "2"}},
    {"doc": {"name": "李四666", "id": "2"}},
    {"update": {"_index": "test_index", "_id": "3"}},
    {"doc": {"name": "王五666", "id": "3"}},
    {"delete": {"_index": "test_index", "_id": "4"}},
]
res = es.bulk(index="test_index", body=doc)
print(res)

运行结果：

案例一：

python读取mysql数据写入ES：

参考博文：https://www.jianshu.com/p/c0e42121f054

python 批量导入mysql数据到Elastic Search_追逐时光的博客-CSDN博客 

参考博文：

Python简单实现与ElasticSearch交互插入数据_IT之一小佬的博客-CSDN博客_python 插入es

IT之一小佬
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
bulk插入 es_使用 Python 批量将数据插入到 ES中
weixin_42500156的博客
01-26 1636
1. 插入数据现在我们如果有大量的文档(例如10000000万条文档)需要写入es 的某条索引中，该怎么办呢？1.1 顺序插入import timefrom elasticsearch import Elasticsearches = Elasticsearch()def timer(func):def wrapper(*args, **kwargs):start = time.time()res...
python3实现elasticsearch批量更新数据
01-20
废话不多说，直接上代码！ updateBody = { query:{ range:{ write_date: { gte: 2019-01-15 12:30:17, lte: now } } }, script: { inline: ctx._source.index = params.index, params: { ...}
python es 批量写入
花木兰
12-11 2286
from elasticsearch import Elasticsearch from elasticsearch import helpers from requests.auth import HTTPBasicAuth from sqlalchemy import create_engine import datetime class SearchConfig: def...
如何用python代码，操作es数据库
最新发布
斯特凡今天也很帅的博客
04-11 154
【代码】如何用python代码，操作es数据库。
4. python-es-8.3.3-bulk批量操作
我的博客
08-19 834
python-es-histogram
python es批量插入数据
nibuyaoshiwang的博客
06-26 1631
for form_item in forms.files: logger.info("form_item: %s", form_item) temp = property_file_upload_esbody(task_id, user, form_item) insert_es.append(temp) if len(insert_es) > 200: bulk(es_client, insert_es,...
python 写入es,Python 批量写入 Elasticsearch 脚本
weixin_30458701的博客
03-25 900
Elasticsearch 官方和社区提供了各种各样的客户端库，在之前的博客中，我陆陆续续提到和演示过 Perl 的，Javascript 的，Ruby 的。上周写了一版 Python 的，考虑到好像很难找到现成的示例，如何用 python 批量写数据进 Elasticsearch，今天一并贴上来。#!/usr/bin/env pypy#coding:utf-8import reimport sy...
python消费kafka数据批量插入到es的方法
01-20
用elasticsearch来实现批量操作，先安装依赖包，sudo pip install Elasticsearch2 from elasticsearch import Elasticsearch class ImportEsData: logging.config.fileConfig(logging.conf) logger = logging....
python批量导入数据进Elasticsearch的实例
09-20
今天小编就为大家分享一篇python批量导入数据进Elasticsearch的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python操作ElasticSearch批量增加查询
PyIDEA
08-18 778
ElasticSearch Python版创建索引批量导入查询 创建索引 ES版本为7.X from elasticsearch import Elasticsearch es = Elasticsearch() def deleteInices(my_index): if True and es.indices.exists(my_index): # 确认删除再改为True print("删除之前存在的") es.indices.delete(index=my
python elasticsearch 批量写入数据
weixin_30677475的博客
01-09 406
from elasticsearch import Elasticsearch from elasticsearch import helpers import pymysql import time # 连接ES es = Elasticsearch( ['127.0.0.1'], port=9200 ) # 连接MySQL print("Conn...
python如何使用_bulk指令向es服务器发送post请求创建和更新
qq_42078712的博客
05-08 634
每两行为一个完整指令，上一行的”index“代表进行新建或更新，”_id“的值代表文档ID；下一行的"item"为文档中的字段。在Elasticsearch中，_bulk指令用于批量添加、更新或删除文档。这个指令允许用户在一个请求中提交多个操作。换行符结尾，否则传输错误指令之后会报错。拼接指令的时候必须要注意。的个数，每一行必须使用。
elasticsearch 批量写入（Python版）.md
hj1993的博客
02-09 789
使用 Python 批量写入数据到 elasticsearch 中，几种方法对比
python elasticsearch bulk_Elasticsearch —— bulk批量导入数据
weixin_39861955的博客
12-09 892
在使用Elasticsearch的时候，一定会遇到这种场景——希望批量的导入数据，而不是一条一条的手动导入。那么此时，就一定会需要bulk命令！更多内容参考我整理的Elk教程bulk批量导入批量导入可以合并多个操作，比如index,delete,update,create等等。也可以帮助从一个索引导入到另一个索引。语法大致如下；action_and_meta_data\noptional_sour...
Python bulk方式写入ElasticSearch全流程，设置用户名密码，ImportError: No module named elasticsearch
wzh8108的专栏
05-11 5468
测试需要写入一堆数据，网上python看起来的很简单，但是一步步都是问题。先看几个解决的问题： 1、ImportError: No module named elasticsearch Traceback (most recent call last): File "pyimportjson.py", line 2, in <module> import elasticsearch ImportError: No module named elasticsearch 看代码没问...
Bulk指令之批量操作
学如逆水行舟，不进则退
09-27 938
Bulk指令之批量操作
python对es数据库使用bulk批量更新文档某字段的值
msq16021的博客
04-14 2225
""" 批量写入数据 """ # 按照步长分批插入数据库,缓解插入数据库时的压力 length = len(json_list) step = 2000# 步长为2000,缓解批量写入的压力 for i in range(0, length, step): if i + step < length:# 要写入的数据长度大于步长，那么久分批写入 actions = [] for j in range(i, i
elasticsearch批量提交数据两种方式Python和curl（带用户名和密码）
weixin_44246962的博客
08-10 2856
elasticsearch批量提交数据两种方式Python和curl （带用户名和密码） 1.使用Python批量提交数据 import requests from apscheduler.schedulers.blocking import BlockingScheduler from elasticsearch import Elasticsearch from elasticsearch import helpers def post_dga(): es = Elasticsearch()
python elasticsearch 批量检索
06-02
要在Python中进行批量检索Elasticsearch中的数据，可以使用Elasticsearch Python客户端提供的mget方法。以下是一个批量检索的示例代码： ```python from elasticsearch import Elasticsearch es = Elasticsearch() # 批量检索文档 docs = [ {'_index': 'my-index', '_id': '1'}, {'_index': 'my-index', '_id': '2'}, {'_index': 'my-index', '_id': '3'}, ] res = es.mget(index='my-index', body={'docs': docs}) # 处理检索结果 for doc in res['docs']: if doc['found']: print(doc['_id'], doc['_source']) else: print(doc['_id'], 'not found') ``` 在这个例子中，我们定义了一组要检索的文档，每个文档都包含其所属的索引和ID。我们将这些文档传递给mget方法，并使用检索结果的“found”属性来确定每个文档是否存在。如果存在，我们打印出文档的ID和源数据；如果不存在，我们打印出“not found”消息。 您还可以使用其他参数来进行批量检索，例如设置返回的字段、控制检索超时时间等等。您可以在[Elasticsearch Python客户端的官方文档](https://elasticsearch-py.readthedocs.io/en/master/api.html#elasticsearch.Elasticsearch.mget)中找到更多信息和示例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值