ElasticSearch的批量操作bulk

最新推荐文章于 2024-07-25 16:51:23 发布
最新推荐文章于 2024-07-25 16:51:23 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41507324/article/details/111372612
版权

批量插入数据

  1. 同一个index下，不指定_id
POST /gunsIndex/doc/_bulk
{"index":{}}
{"age":100,"name":"张三","address":"北京市顺义区","birthday":"2020-10-12"}
{"index":{}}
{"age":121,"name":"张四","address":"北京市顺义区1","birthday":"2020-01-13"}
{"index":{}}
{"age":122,"name":"王五","address":"北京市顺义区2","birthday":"2020-10-14"}
{"index":{}}
{"age":123,"name":"赵6","address":"北京市顺义区3","birthday":"2020-10-15"}
{"index":{}}
{"age":124,"name":"田7","address":"北京市顺义区4","birthday":"2020-10-16"}
  1. 同一个index下，指定_id
POST /ttt/doc/_bulk
{"index":{"_id":"1"}}
{"age":100,"name":"张三","address":"北京市顺义区","birthday":"2020-10-12"}
{"index":{"_id":"2"}}
{"age":121,"name":"张四","address":"北京市顺义区1","birthday":"2020-01-13"}
  1. 不同index下(要指定type)，指定id
POST /_bulk
{"index":{"_index":"index8","_type":"doc","_id":"1"}}
{"age":123,"name":"赵6","address":"北京市顺义区3","birthday":"2020-10-15"}
{"index":{"_index":"index8","_type":"doc","_id":"2"}}
{"age":124,"name":"田7","address":"北京市顺义区4","birthday":"2020-10-16"}
{"index":{"_index":"index9","_type":"doc","_id":"1"}}
{"age":125,"name":"赵6","address":"北京市顺义区3","birthday":"2020-10-15"}
{"index":{"_index":"index9","_type":"doc","_id":"2"}}
{"age":126,"name":"田7","address":"北京市顺义区4","birthday":"2020-10-16"}
  1. 不同index下(要指定type)，不指定id
POST /_bulk
{"index":{"_index":"index5","_type":"doc"}}
{"age":123,"name":"赵6","address":"北京市顺义区3","birthday":"2020-10-15"}
{"index":{"_index":"index5","_type":"doc"}}
{"age":124,"name":"田7","address":"北京市顺义区4","birthday":"2020-10-16"}
{"index":{"_index":"index6","_type":"doc"}}
{"age":125,"name":"赵6","birthday":"2020-10-15"}
{"index":{"_index":"index6","_type":"doc"}}
{"age":126,"name":"田7","address":"北京市顺义区4","birthday":"2020-10-16"}

_bulk的批量操作中index和create操作的区别：create为新增操作，必须要指定index，type，和id;如果索引中已经存在相同id的doc，那么插入失败抛出异常。
index操作是覆盖操作，也就是如果指定id的情况下，如果id不存在就是新增，如果存在就是覆盖旧数据

批量修改

POST /_bulk
{"update":{"_index":"index5","_type":"doc","_id":"o5zgdHYBZ16azDSUjUqk"}}
{"doc":{"name":"孙悟空"}}
{"update":{"_index":"index6","_type":"doc","_id":"MZzqdHYBZ16azDSU3kvk"}}
{"doc":{"name":"太白"}}

POST index5/doc/_bulk
{"update":{"_id":"o5zgdHYBZ16azDSUjUqk"}}
{"doc":{"name":"孙悟空12"}}
蚂蚁雅嘿
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch写入性能优化
jamesjxin的专栏
01-13 4万+
性能测试建议 在一个节点的一个分片，不设置副本，测试性能 在完全默认设置上记录性能数据，作为测试的基准线 确保性能测试持续30分钟以上以确认长时间的性能；短时间的测试可能不会碰到segment合并和GC，无法确认这些因素的影响 每次基于默认基准线更改一个参数，如果性能有提升就保留设置，并基于此设置做后续的测试 bulk使用建议 每个请求大小建议在5-15MB，逐步增大测试,当接收到EsRejecte
bulk es 删除_ES 批量操作 bulk
weixin_33309433的博客
01-15 872
文章目录基本语法批量操作的类型实操createupdatedelete复合操作参考资源基本语法bulk操作和以往的普通请求格式有区别。不要格式化json，不然就不在同一行了，这个需要注意。{ action: { metadata }}\n{ request body }\n{ action: { metadata }}\n{ request body }\n...{ a...
elasticsearch批量操作bulk
赛赛
08-30 494
基本语法
Springboot 整合ElasticSearch 常用的插入查询，模糊查询，范围查询
2401_85117868的博客
06-19 932
本文从基础到高级再到实战，由浅入深，把MySQL讲的清清楚楚，明明白白，这应该是我目前为止看到过最好的有关MySQL的学习笔记了，我相信如果你把这份笔记认真看完后，无论是工作中碰到的问题还是被面试官问到的问题都能迎刃而解！576.png)接下来是着重讲下查询，查找 name（字符串）作为字段，值为Alaska-km6u 的数据。@Autowired//为了方便讲解，就直接先这样使用调用下该接口：注意，如果你是要精确查找一条数据，那么就是termQuery。
Elasticsearch批量操作bulk
SAGGITARXM
12-28 475
Elasticsearch批量操作bulk#多重模式 #批量操作 _bulk POST /library/books/_bulk {"index": {"_id":1}} {"title": "Elasticsearch:The Definitive Guide","price":5} {"index": {"_id":2}} {"title": "The Elasticsearch cookboo
Elasticsearch批量操作bulk原理解释
香菇的博客
11-13 6161
代价较小的批量操作 与 mget 可以使我们一次取回多个文档同样的方式， bulk API 允许在单个步骤中进行多次 create 、 index 、 update 或 delete 请求。 如果你需要索引一个数据流比如日志事件，它可以排队和索引数百或数千批次。 bulk 与其他的请求体格式稍有不同，如下所示： { action: { metadata }}\n { request bod...
ES 批量操作bulk
小P聊技术
03-15 546
1 介绍 主要介绍批量操作bulk，使用postman进行请求，接口请求的前缀地址统一为elasticsearch 部署IP地址+端口号（例如 http://192.168.51.4:9200） 。 2 批量操作bulk 2.1 基础语法 bulk操作和以往的普通请求格式有区别。指令一般都在一行，用换行符隔开，不是标准的JSON格式，这点需要注意。 {action: {metadata}} \n {request body} \n {action: {metadata}} \n {request body}
elasticsearch批量操作之bulk
Just Do IT
01-21 9434
文章目录前言一、bulk概述1.1 基础概念1.2 bulk语法1.3 操作类型二、使用示例2.1 批量插入2.2 批量更新2.3 批量删除总结 前言 本篇文章主要总结如何使用bulk对es进行批量操作，若有不足请教大神门在评论区多多补充。 一、bulk概述 1.1 基础概念 bulk是es提供的一种批量增删改的操作API。 1.2 bulk语法 bulk对JSON串的有着严格的要求。每个JSON串不能换行，只能放在同一行，同时，相邻的JSON串之间必须要有换行（Linux下是\n；Window下是\r\
ES 批量操作 bulk
Little_fxc的博客
01-12 754
文章目录基本语法批量操作的类型实操createupdatedelete复合操作参考资源 基本语法 bulk操作和以往的普通请求格式有区别。不要格式化json，不然就不在同一行了，这个需要注意。 { action: { metadata }}\n { request body }\n { action: { metadata }}\n { request body }\n ... { action: { metadata }}代表批量操作的类型，可以是新增、删除或修改 \n是每
python elasticsearch bulk_Elasticsearch之批量操作bulk
weixin_39608116的博客
12-09 1289
1、bulk相当于数据库里的bash操作。2、引入批量操作bulk，提高工作效率，你想啊，一批一批添加与一条一条添加，谁快?3、bulk API可以帮助我们同时执行多个请求4、bulk的格式：action：index/create/update/deletemetadata：_index,_type,_idrequest body：_source(删除操作不需要加request body){ a...
elasticsearch bulk批量操作
weixin_43394129的博客
06-21 361
说明： 在做业务增删改时，有时批量执行比循环中单个执行性能要好很多，在es中有批量执行方法(除了script)，如下(.net)代码： public BulkResponse BulkUpdate(List<IBulkOperation> bulkOperationList) { BulkRequest bulkRequest...
elasticsearch进行批量插入的时候总是少数据
01-07
现有a表和b表，两张mysql数据库的表，需要把两张表的数据取共同字段，合并并导入es中，其中a表共有数据1000条，b表共有数据1200条，a表和b表的主键id都是从1开始递增的，结果导入的时候显示成功导入2200条数据，而...
python3实现elasticsearch批量更新数据
01-20
废话不多说，直接上代码！ updateBody = { query:{ range:{ write_date: { gte: 2019-01-15 12:30:17, lte: now } } }, script: { inline: ctx._source.index = params.index, params: { ...}
批量写入数据到Elasticsearch
01-30
1. 使用 bulk helper：许多Elasticsearch客户端库提供bulk helper工具，可以帮助你更方便地处理批量写入，自动分块和重试。 2. 并行处理：如果数据源允许，可以并行处理多个批量写入任务，进一步提高效率。 3. 分片...
Oracle数据批量导入elasticsearch脚本
12-31
Linux环境下使用sqlplus工具将oracle中的数据导入到elasticsearch中。只需要在es_bulk_tool.properties配置sql即可实现数据的批量导入。在elasticsearch6中测试通过。shell脚本需要使用sqlplus。
elasticsearch-bulk-insert-plugin.zip
10-29
Elasticsearch-Bulk-Insert-Plugin 是一个专为Kettle设计的插件，主要用于高效地将大量数据批量插入到Elasticsearch（ES）集群中。Elasticsearch是一种流行且功能强大的分布式搜索引擎，常用于大数据分析、日志分析...
ubantu20.04安装gem5
m0_56836274的博客
07-24 463
在安装gem5时，花了很长时间，主要是遇到一些奇奇怪怪的错误。在此记录一下。
Ubuntu 配置repo环境
xiangzhihong8的专栏
07-24 651
repo是Google开发的用于管理Android版本库的一个工具，repo是使用Python对git进行了一定的封装，并不是用于取代git，它简化了对多个Git版本库的管理。用repo管理的版本库都需要使用git命令来进行操作。
Git 分布式版本控制系统、创建分支，跳转分支、git拉取、在码云上创建项目，进行pull 和 push、克隆码云上任意项目
最新发布
十四的博客
07-25 992
root@13git yy000]# git commit -m "新增了一个test.Java文件"[root@13git yy000]# echo "我是主分支，我修改了文件" > test.java。[root@13git yy000]# echo "我是玉兰，我要吃烤鸭" >> test.java。[root@13git yy000]# echo "我是a" >> test.java。[root@13git yy000]# echo "我是b" >> test.java。
elasticsearch 批量操作
10-19
好的，关于 Elasticsearch 的批量操作，可以使用 Bulk API 来实现。Bulk API 可以在一次请求中执行多个操作，包括索引、更新、删除等。下面是一个示例： ```python from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk es = Elasticsearch() actions = [ { "_index": "my_index", "_id": "1", "_source": { "title": "Document 1", "content": "This is the content of document 1" } }, { "_index": "my_index", "_id": "2", "_source": { "title": "Document 2", "content": "This is the content of document 2" } } ] bulk(es, actions) ``` 在上面的示例中，我们定义了两个操作，分别是索引 ID 为 1 和 2 的文档。然后使用 `bulk` 函数将这两个操作一次性提交到 Elasticsearch 中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值