ES API 批量操作 Bulk API

最新推荐文章于 2024-03-19 01:52:39 发布
最新推荐文章于 2024-03-19 01:52:39 发布
阅读量704 收藏 8
点赞数 10
分类专栏： ELK 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tian830937/article/details/135588116
版权

bulk 是 elasticsearch 提供的一种批量增删改的操作API。

bulk 对 JSON串 有着严格的要求。每个JSON串 不能换行 ，只能放在同一行，同时， 相邻的JSON串之间必须要有换行 （Linux下是\n；Window下是\r\n）。bulk的每个操作必须要 一对JSON串 （delete语法除外）。

action必须是以下几种：

行为解释
create如果文档不存在就创建，但如果文档存在就返回错误 包含 。POSt和PUT 两种操作
index如果文档不存在就创建，如果文档存在就更新，版本_version 会加1
update更新一个文档，如果文档不存在就返回错误
delete删除一个文档，如果要删除的文档id不存在，就返回错误

其实可以看得出来 index 是比较常用的。 bulk 请求不是原子操作，它们不能实现事务。每个请求操作时分开的，所以每个请求的成功与否不干扰其它操作。

Bulk一次最大处理多少数据量？
Bulk会把将要处理的数据载入内存中，所以数据量是有限制的，最佳的数据量不是一个确定的数值，它取决于你的硬件，你的文档大小以及复杂性，你的索引以及搜索的负载。
一般建议是1000-5000个文档，大小建议是5-15M，默认不能超过100M，可以在es的配置文件（即$ES_HOME下的config下的elasticsearch.yml）中

# bulk批量的混合操作，一般不推荐这种使用，项目中也用的极少。
PUT /_bulk
{ "create" : { "_index" : "ad", "_id" : "6" }}
{ "doc" : {"name" : "bulk"}}
{ "index" : { "_index" : "ad", "_id" : "6" }}
{ "doc" : {"name" : "bulk"}}
{ "delete":{ "_index" : "ad", "_id" : "1"}}
{ "update":{ "_index" : "ad", "_id" : "3"}}
{ "doc" : {"name" : "huawei p20"}}

# 输出结果
{
"took" : 77,
# 如果任意一个文档出错，这里返回true,
"errors" : true,
# items数组，它罗列了每一个请求的结果，结果的顺序与我们请求的顺序相同
"items" : [
{
   # create这个文档已经存在，所以异常
    "create":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"6",
        "status":409,
        "error":{
            "type":"version_conflict_engine_exception",
            "reason":"[6]: version conflict, document already exists (current version [1])",
            "index_uuid":"90zLKRHyT02kyN148mQpqg",
            "shard":"0",
            "index":"ad"
        }
    }
},
# index这个文档已经存在，会覆盖
{
    "index":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"6",
        "_version":2,
        "result":"updated",
        "_shards":{
            "total":2,
            "successful":1,
            "failed":0
        },
        "_seq_no":11,
        "_primary_term":3,
        "status":200
    }
},
{
    "delete":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"1",
        "_version":2,
        "result":"deleted",
        "_shards":{
            "total":2,
            "successful":1,
            "failed":0
        },
        "_seq_no":12,
        "_primary_term":3,
        "status":200
    }
},
{
    "update":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"3",
        "_version":2,
        "result":"updated",
        "_shards":{
            "total":2,
            "successful":1,
            "failed":0
        },
        "_seq_no":13,
        "_primary_term":3,
        "status":200
    }
}
]
}
测试数据准备

# 测试数据准备
PUT example
PUT example/_mapping
{
    "mapping":{
        "id":{
            "type":"long"
        },
        "name":{
            "type":"text"
        },
        "counter":{
            "type":"integer"
        },
        "tags":{
            "type":"text"
        }
    }
}
批量插入

# 批量插入
POST /example/_bulk
{"index": {"_id": 1}}
{"id":1, "name":"admin", "counter":10, "tags":["red", "black"]}
{"index": {"_id": 2}}
{"id":2, "name":"张三", "counter":20, "tags":["green", "purple"]}
{"index": {"_id": 3}}
{"id":3, "name":"李四", "counter":30, "tags":["red", "blue"]}
{"index": {"_id": 4}}
{"id":4, "name":"tom", "counter":40, "tags":["orange"]}

# 输出结果
{
    "took":7,
    "errors":false,
    "items":[
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"1",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":0,
                "_primary_term":1,
                "status":201
            }
        },
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"2",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":1,
                "_primary_term":1,
                "status":201
            }
        },
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"3",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":2,
                "_primary_term":1,
                "status":201
            }
        },
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"4",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":3,
                "_primary_term":1,
                "status":201
            }
        }
    ]
}

批量修改

# 批量修改
POST /example/_bulk
{"update": {"_id": 1}}
{"doc": {"id":1, "name": "admin-02", "counter":11}}
{"update": {"_id": 2}}
{"script":{"lang":"painless","source":"ctx._source.counter += params.num","params":
{"num":2}}}
{"update":{"_id": 3}}
{"doc": {"name": "test3333name", "counter": 999}}
{"update":{"_id": 4}}
{"doc": {"name": "test444name", "counter": 888}, "doc_as_upsert" : true}

# 输出结果
{
    "took":149,
    "errors":false,
    "items":[
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"1",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":4,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"2",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":5,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"3",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":6,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"4",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":7,
                "_primary_term":1,
                "status":200
            }
        }
    ]
}
批量删除

# 批量删除
POST /example/_bulk
{"delete": {"_id": 1}}
{"delete": {"_id": 2}}
{"delete": {"_id": 3}}
{"delete": {"_id": 4}}

# 输出结果
{
    "took":7,
    "errors":false,
    "items":[
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"1",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":8,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"2",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":9,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"3",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":10,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"4",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":11,
                "_primary_term":1,
                "status":200
            }
        }
    ]
}

另外在定义存储数据的时候，不预先定义mapping ES 也可以存储数据
在这里插入图片描述

数据在存放第一个数据的时候数据类型已经确定下来了

在这里插入图片描述

懒鸟一枚
关注
  • 10
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
amqp-node-elastic-bulk:从 amqp 收集数据并发送到 elasticsearch 批量 API
06-16
生成 3 个日志文件： app.errors.log：一般错误app.log：一般信息elastic.errors.log：错误，由请求返回给elastic
Elasticsearch知识整理
weixin_30273763的博客
11-06 286
1：es介绍 Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中， 能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于RESTful接口。 普通请求是...get?a=1 rest请求....get/a/1 2：全文搜索的工具有哪些 Lucene S...
elasticsearch里面bulk的用法
热门推荐
三劫散仙
04-09 5万+
上篇文章介绍了在es里面批量读取数据的方法mget，本篇我们来看下关于批量写入的方法bulk。bulk api可以在单个请求中一次执行多个索引或者删除操作，使用这种方式可以极大的提升索引性能。bulk的语法格式是：action and meta_data \n optional source \n action and meta_data \n optional source \n actio...
Elasticsearch Document Bulk API详解、原理与示例
最新发布
m0_61369275的博客
03-19 727
对请求格式为什么要设计成metdata+有效载体的方式，主要是为了在接受端节点（所谓的接受端节点是指收到命令的第一节点），只需解析 metadata，然后将请求直接转发给对应的数据节点。通常可以设置BulkRequest#waitForActiveShards来要求Bulk批量执行之前要求处于激活的最小副本数。较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频**每一个Bulk条目拥有独自的version，存在于请求条目的item的元数据中。
Elasticsearch入库优化记录
rise511的专栏
09-19 1741
由于最近要实现Elasticsearch日入8T(最大支持10T）的数据，所以最近对es入库部分的效率，进行了重点验证。 现在的入库程序使用（有专门的程序将原始数据转换成）json文件，批量bulk的方式，实现大量的数据入库。 根据公司这段时间和部分现场的使用情况来看，每台机器每小时大概只能入库20G（现场万兆网：30G），索引创建的速度约：40K-50K/s。 使用Prometheus监控...
elasticsearch写入优化记录,从3000到8000/s
不懂的博客
06-25 3万+
背景 基于elasticsearch-5.6.0 机器配置：3个阿里云ecs节点，16G,4核，机械硬盘 优化前，写入速度平均3000条/s，一遇到压测，写入速度骤降，甚至es直接频率gc、oom等；优化后，写入速度平均8000条/s，遇到压测，能在压测结束后30分钟内消化完数据，各项指标回归正常。 生产配置 这里我先把自己优化的值贴出来，后面有参数的详解： elasti...
ES重点整理
daodaodaoge的博客
04-06 1847
分片数制定 每个分片占用的硬盘容量不超过 32G，如果索引的总容量在 500G 左右，那分片大小在 16 个左右即可； 一般都设置分片数不超过节点数的 3 倍； 推迟分片分配 对于节点瞬时中断的问题，默认情况，集群会等待一分钟来查看节点是否会重新加入， 如果这个节点在此期间重新加入，重新加入的节点会保持其现有的分片数据，不会触发新的 分片分配。这样就可以减少 ES 在自动再平衡可用分片时所带来的极大开销。通过修改参数 delayed_timeout ，可以延长再均衡的时间 ...
深度剖析Elasticsearch的bulk api使用以及底层原理
【原】编程界的小学生
05-31 922
编程界的小学生一、api1、概念2、语法3、Demo3.1、需求一3.2、需求二二、底层原理 一、api 1、概念 就是批量操作，将多条PUT/POST/DELETE命令合并成一个bulk命令进行操作，节省代码量也提高性能。 2、语法 PUT /_bulk {"action":{"metadata"}} {"data"} action取值（如下是常用的）： index：普通的PUT操作，可以是创建文档，也可以是全量替换 create：PUT /index/_doc/id/_create，强制创建 del
Elasticsearch(037)：es中批量操作之bulk
瘦子没有夏天
10-23 2万+
一、bulk概述 1.1 bulk的基础概念 bulk是es提供的一种批量增删改的操作API。 1.2 bulk的语法 bulk对JSON串的有着严格的要求。每个JSON串不能换行，只能放在同一行，同时，相邻的JSON串之间必须要有换行（Linux下是\n；Window下是\r\n）。bulk的每个操作必须要一对JSON串（delete语法除外）。 { action: { metadata }} { request body } { action: { metadata }} { reques
2.elasticsearch文档批量操作-bulk api
PacosonSWJTU的博客
10-07 902
1）语法格式语法格式：{请求体} \ncreate 如果文档不存在就保存，但如果文档存在就返回错误；index 如果文档不存在就保存，如果文档存在就更新(upsert)（不比较新老数据）；update 更新一个文档，如果文档不存在就返回错误（比较新老数据，若相同，则不更新返回noop）；delete 删除一个文档，如果要删除的文档id不存在，就返回错误；
《Elasticsearch:权威指南》Document APIs -- Bulk API
m0_45406092的博客
07-29 240
Bulk API，能够在一个单一的API调用执行多项索引/删除操作。这可以大大提高索引速度。 该 REST API 端点 /_bulk，它遵循JSON结构： action_and_meta_data\n //首行action参数 optional_source\n //第二行为source参数 action_and_meta_data\n optional_source\n .... action_and_meta_data\n optional_source\n 注意：数据
esbulk:用于Elasticsearch的批量索引命令行工具
03-27
从文件或stdin中读取数据，然后批量和并行地将其索引到elasticsearch中。 最短的命令是： $ esbulk -index my-index-name < file.ldj 注意：如果批量API的索引压力过高（数十个或数百个并行工作程序，大批处理...
Java做客户端对Elasticsearch服务的增删改查及批量修改操作
04-08
Java做客户端对Elasticsearch服务的增删改查及批量修改操作,代码简洁易懂,思路清晰有注释.详情参考https://blog.csdn.net/linhaiyun_ytdx/article/category/7042758
分布式搜索 elasticsearch 方案研究 - Java API
11-21
分布式搜索elasticsearch java API 之（六）--- 批量添加删除索引 9 分布式搜索elasticsearch java API 之（七）--- 与MongoDB同步数据 10 分布式搜索elasticsearch java API 之（八）--- 使用More like this实现...
elasticsearch-tools：用于执行诸如批量导入导出和导出导入映射之类的工作的一系列Elasticsearch命令行工具
02-25
安装npm install -g elasticsearch-tools 安装后，您将可以使用以下命令行工具：出口 输入用法：es-export-bulk选项es-export-bulk --helpUsage: es-export-bulk [options] Options: -h, --help output usage ...
超详细的Elasticsearch高性能优化实践
weixin_34220179的博客
05-21 221
ES 性能调优 ES 的默认配置，是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时，我们需要根据公司要求，进行偏向性的优化。 写优化 假设我们的应用场景要求是，每秒 300 万的写入速度，每条 500 字节左右。 针对这种对于搜索性能要求不高，但是对写入要求较高的场景，我们需要尽可能的选择恰当写优化策略。 综合来说，可以考虑以下几个方面来提升写索引...
es的批处理
stay foolish
07-19 413
bulk相当于数据库里的bash操作。 bulk的格式 1. action：index/create/update/delete create 如果文档不存在就创建，但如果文档存在就返回错误 index 如果文档不存在就创建，如果文档存在就更新 update 更新一个文档，如果文档不存在就返回错误 delete 删除一个文档，如果要删除的文档id不存在，就返回错误 2. metadata：_index,_type,_id 3. request body：_source(删除操作不需要加reque.
【ElasticSearch】ElasticSearch基础
qq_44530108的博客
03-26 3346
概述 是什么 ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。 全文搜索引擎 这里说到的全文搜索引擎指的是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似通过字典中的检索字表查
Elasticsearch Java API Client 批量更新如何操作？
02-19
使用 Elasticsearch Java API Client 批量更新可以通过使用 BulkProcessor 来实现，它允许您管理批量请求的大小和速率，并将批量请求发送到 Elasticsearch。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值