elasticsearch bulk批量增删改(超详细)

最新推荐文章于 2024-03-30 10:32:04 发布
最新推荐文章于 2024-03-30 10:32:04 发布
阅读量1.7w 收藏 19
点赞数 8
分类专栏： elasticsearch 文章标签： elasticsearch bulk 批量
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45012575/article/details/100695333
版权

一、bulk的操作类型
1.1批量增
语法一：index操作:可以是创建文档，也可以是全量替换文档（类似于普通的put操作）

POST /_bulk
 {"index":{"_index":"test_index","_type":"test_type","_id":"12"}}
 {"score_num":86,"tags":"my love"}

运行结果

{
  "took": 79,
  "errors": false,
  "items": [
    {
      "index": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "12",
        "_version": 10,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 14,
        "_primary_term": 6,
        "status": 200
      }
    }
  ]
}

验证查询是否创建成功

GET test_index/test_type/12

运行结果：

{
  "_index": "test_index",
  "_type": "test_type",
  "_id": "12",
  "_version": 10,
  "found": true,
  "_source": {
    "score_num": 86,
    "tags": "my love"
  }
}

修改字段tags里面内容

POST /_bulk
 {"index":{"_index":"test_index","_type":"test_type","_id":"12"}}
 {"score_num":86,"tags":"you love"}

运行结果

{
  "took": 73,
  "errors": false,
  "items": [
    {
      "index": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "12",
        "_version": 11,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 15,
        "_primary_term": 6,
        "status": 200
      }
    }
  ]
}

继续验证是否修改成功

 GET test_index/test_type/12

运行结果

{
  "_index": "test_index",
  "_type": "test_type",
  "_id": "12",
  "_version": 11,
  "found": true,
  "_source": {
    "score_num": 86,
    "tags": "you love"
  }
}

修改成功！
以上是增加一条数据，这时候我们批量增加2条数据测试一下

POST /_bulk
 {"index":{"_index":"test_index","_type":"test_type","_id":"12"}}
 {"score_num":86,"tags":"you love"}
  {"index":{"_index":"test_index","_type":"test_type","_id":"13"}}
 {"score_num":89,"tags":"my love"}

运行结果

{
  "took": 183,
  "errors": false,
  "items": [
    {
      "index": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "12",
        "_version": 14,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 18,
        "_primary_term": 6,
        "status": 201
      }
    },
    {
      "index": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "13",
        "_version": 3,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 9,
        "_primary_term": 6,
        "status": 201
      }
    }
  ]
}

查询验证

GET test_index/test_type/_mget
{
  "ids":[12,13]
}

运行结果：

{
  "docs": [
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "12",
      "_version": 14,
      "found": true,
      "_source": {
        "score_num": 86,
        "tags": "you love"
      }
    },
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "13",
      "_version": 3,
      "found": true,
      "_source": {
        "score_num": 89,
        "tags": "my love"
      }
    }
  ]
}

语法二：create：强制创建，id已存在会失败，但不影响已成功的语句（类似于：PUT /index/type/id/_create）

POST /_bulk
{ "create": { "_index":"test_index", "_type": "test_type", "_id": "12" }}
{ "score_num": 68, "tags":"my love" }

此时，我们演示一下，批量新增id=13,14两条document数据，此时由于id=13已经创建成功了，会失败，但是14会创建成功。我们验证一下结果是不是如此

 POST /_bulk
{ "create": { "_index":"test_index", "_type": "test_type", "_id": "13" }}
{ "score_num": 68, "tags":"my love" }
{ "create": { "_index":"test_index", "_type": "test_type", "_id": "14" }}
{ "score_num": 60, "tags":"dog love" }

运行结果：

{
  "took": 101,
  "errors": true,
  "items": [
    {
      "create": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "13",
        "status": 409,
        "error": {
          "type": "version_conflict_engine_exception",
          "reason": "[test_type][13]: version conflict, document already exists (current version [3])",
          "index_uuid": "6lY0aliBRTitpKfC5N4vdQ",
          "shard": "3",
          "index": "test_index"
        }
      }
    },
    {
      "create": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "14",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 3,
        "_primary_term": 6,
        "status": 201
      }
    }
  ]
}

由此，可以看出id=13创建失败，但是id=14创建成功了。
用mget查询看一下，id=13的数据值是否还是score_num=89

GET test_index/test_type/_mget
{
  "ids":[13,14]
}

运行结果

{
  "docs": [
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "13",
      "_version": 3,
      "found": true,
      "_source": {
        "score_num": 89,
        "tags": "my love"
      }
    },
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "14",
      "_version": 1,
      "found": true,
      "_source": {
        "score_num": 60,
        "tags": "dog love"
      }
    }
  ]
}

1.2批量删
语法：

POST /_bulk
{"delete":{"_index":"test_index","_type":"test_type","_id":"12"}}
{"delete":{"_index":"test_index","_type":"test_type","_id":"13"}}

运行结果

{
  "took": 212,
  "errors": false,
  "items": [
    {
      "delete": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "12",
        "_version": 15,
        "result": "deleted",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 19,
        "_primary_term": 6,
        "status": 200
      }
    },
    {
      "delete": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "13",
        "_version": 4,
        "result": "deleted",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 10,
        "_primary_term": 6,
        "status": 200
      }
    }
  ]
}

已经成功删除，验证一下

GET test_index/test_type/_mget
{
  "ids":[12,13]
}

运行结果

{
  "docs": [
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "12",
      "found": false
    },
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "13",
      "found": false
    }
  ]
}

确实已经删除成功！

1.3批量更新
更新分为全量替换跟partial update(局部更新)
update：全量替换语法：

POST /_bulk
 {"index":{"_index":"test_index","_type":"test_type","_id":"12"}}
 {"score_num":86,"tags":"you love"}
  {"index":{"_index":"test_index","_type":"test_type","_id":"13"}}
 {"score_num":89,"tags":"my love"}

上面已经演示过了，这里不再演示.

update：partial update语法：

POST /_bulk
{"update":{"_index":"test_index","_type":"test_type","_id":"14"}}
{"doc":{"score_num":100,"tags":"my love"}}

注意：doc是关键字，必须要加
运行结果

{
  "took": 104,
  "errors": false,
  "items": [
    {
      "update": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "14",
        "_version": 2,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 4,
        "_primary_term": 6,
        "status": 200
      }
    }
  ]
}

验证

GET test_index/test_type/14

运行结果

{
  "_index": "test_index",
  "_type": "test_type",
  "_id": "14",
  "_version": 2,
  "found": true,
  "_source": {
    "score_num": 100,
    "tags": "my love"
  }
}

上面是把id=14全部更新了，现在我们局部更新一下tags内容

POST /_bulk
{"update":{"_index":"test_index","_type":"test_type","_id":"14"}}
{"doc":{"tags":"you love"}}

运行结果

{
  "took": 106,
  "errors": false,
  "items": [
    {
      "update": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "14",
        "_version": 3,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 5,
        "_primary_term": 6,
        "status": 200
      }
    }
  ]
}

验证是不是局部更新

GET test_index/test_type/14

运行结果：

{
  "_index": "test_index",
  "_type": "test_type",
  "_id": "14",
  "_version": 3,
  "found": true,
  "_source": {
    "score_num": 100,
    "tags": "you love"
  }
}

局部更新成功！

此时，我们发现批量增跟批量更新都是两个json串，而批量删除只要一个json串

二、注意
注意：bulk api对json的语法，有严格的要求，每个json串不能换行，只能放一行，同时一个json串和一个json串之间，必须有一个换行。 bulk操作中，任意一个操作失败，是不会影响其他的操作的，但是在返回结果里，会告诉你异常日志

三、指定index
现在我们将数据删除，查询一下看一下

GET _search
{
  "query": {
    "match_all": {}
  }
}

运行结果

{
  "took": 4,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 0,
    "max_score": null,
    "hits": []
  }
}

ok，现在我们演示一下制定index的批量增删改操作

3.1指定index的批量增
create批量增语法：

POST test_index/_bulk
{"create":{"_type":"test_type","_id":"1"}}
{"score_num":90,"tags":"my love"}
{"create":{"_type":"test_type","_id":"2"}}
{"score_num":80,"tags":"you love"}

运行结果

{
  "took": 177,
  "errors": false,
  "items": [
    {
      "create": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "1",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 12,
        "_primary_term": 6,
        "status": 201
      }
    },
    {
      "create": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "2",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 0,
        "_primary_term": 6,
        "status": 201
      }
    }
  ]
}

查询一下是否添加成功：

GET test_index/test_type/_mget
{
  "ids":[1,2]
}

运行结果：

{
  "docs": [
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "1",
      "_version": 1,
      "found": true,
      "_source": {
        "score_num": 90,
        "tags": "my love"
      }
    },
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "2",
      "_version": 1,
      "found": true,
      "_source": {
        "score_num": 80,
        "tags": "you love"
      }
    }
  ]
}

index：批量增语法(可以是创建文档，也可以是全量替换文档)：

POST test_index/_bulk
{"create":{"_type":"test_type","_id":"3"}}
{"score_num":99,"tags":"xiaoming love"}
{"create":{"_type":"test_type","_id":"4"}}
{"score_num":89,"tags":"xiaohong love"}

运行结果

{
  "took": 171,
  "errors": false,
  "items": [
    {
      "create": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "3",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 4,
        "_primary_term": 6,
        "status": 201
      }
    },
    {
      "create": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "4",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 1,
        "_primary_term": 6,
        "status": 201
      }
    }
  ]
}

查询是否添加成功

GET test_index/test_type/_mget
{
  "ids":[3,4]
}

运行结果：

{
  "docs": [
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "3",
      "_version": 1,
      "found": true,
      "_source": {
        "score_num": 99,
        "tags": "xiaoming love"
      }
    },
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "4",
      "_version": 1,
      "found": true,
      "_source": {
        "score_num": 89,
        "tags": "xiaohong love"
      }
    }
  ]
}

3.2 指定index批量修改操作
partial update语法：

POST test_index/_bulk
{"update":{"_type":"test_type","_id":"1"}}
{"doc":{"score_num":60}}
{"update":{"_type":"test_type","_id":"2"}}
{"doc":{"score_num":59}}

运行结果

{
  "took": 196,
  "errors": false,
  "items": [
    {
      "update": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "1",
        "_version": 2,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 13,
        "_primary_term": 6,
        "status": 200
      }
    },
    {
      "update": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "2",
        "_version": 2,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 2,
        "_primary_term": 6,
        "status": 200
      }
    }
  ]
}

查询一下，看是否更新分数成功

GET test_index/test_type/_mget
{
  "ids":[1,2]
}

运行结果：

{
  "docs": [
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "1",
      "_version": 2,
      "found": true,
      "_source": {
        "score_num": 60,
        "tags": "my love"
      }
    },
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "2",
      "_version": 2,
      "found": true,
      "_source": {
        "score_num": 59,
        "tags": "you love"
      }
    }
  ]
}

partial update 局部更新文档成功！

全量替换更新操作这里不在演示，参考上面。

3.3指定index的批量删除操作
语法：

POST test_index/_bulk
{"delete":{"_type":"test_type","_id":"3"}}
{"delete":{"_type":"test_type","_id":"4"}}

运行结果

{
  "took": 143,
  "errors": false,
  "items": [
    {
      "delete": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "3",
        "_version": 2,
        "result": "deleted",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 5,
        "_primary_term": 6,
        "status": 200
      }
    },
    {
      "delete": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "4",
        "_version": 2,
        "result": "deleted",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 3,
        "_primary_term": 6,
        "status": 200
      }
    }
  ]
}

验证是否删除成功

GET test_index/test_type/_mget
{
  "ids":[3,4]
}

运行结果：

{
  "docs": [
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "3",
      "found": false
    },
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "4",
      "found": false
    }
  ]
}

指定index批量删除成功！

四、指定index、type
这里就不在演示，跟指定index语法差不多。

五、ulk size最佳大小
bulk request会加载到内存里，如果太大的话，性能反而会下降，因此需要反复尝试一个最佳的bulk size。一般从10005000条数据开始，尝试逐渐增加。另外，如果看大小的话，最好是在515MB之间。

白礼军
关注
  • 8
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Elasticsearch 根据条件批量更新数据
封神之路~
11-21 1923
Elasticsearch 根据条件批量更新数据
elasticsearch批量操作之bulk
Just Do IT
01-21 9121
文章目录前言一、bulk概述1.1 基础概念1.2 bulk语法1.3 操作类型二、使用示例2.1 批量插入2.2 批量更新2.3 批量删除总结 前言 本篇文章主要总结如何使用bulk对es进行批量操作，若有不足请教大神门在评论区多多补充。 一、bulk概述 1.1 基础概念 bulk是es提供的一种批量增删改的操作API。 1.2 bulk语法 bulk对JSON串的有着严格的要求。每个JSON串不能换行，只能放在同一行，同时，相邻的JSON串之间必须要有换行（Linux下是\n；Window下是\r\
Elasticsearch(037)：es中批量操作之bulk
热门推荐
瘦子没有夏天
10-23 2万+
一、bulk概述 1.1 bulk的基础概念 bulk是es提供的一种批量增删改的操作API。 1.2 bulk的语法 bulk对JSON串的有着严格的要求。每个JSON串不能换行，只能放在同一行，同时，相邻的JSON串之间必须要有换行（Linux下是\n；Window下是\r\n）。bulk的每个操作必须要一对JSON串（delete语法除外）。 { action: { metadata }} { request body } { action: { metadata }} { reques
ElasticSearch 实战：使用bulk进行批量增删改
最新发布
qq_33240556的博客
03-30 505
在 Elasticsearch 中，bulkAPI 用于一次性执行多个文档的创建（index）、更新（update）、删除（delete）操作，极大地提高了数据操作的效率。以下是使用bulk。
Elasticsearch——》批量修改数据
小仙~
05-10 1245
elasticsearch批量修改数据
elasticsearch里面bulk的用法
JavaAlliance
08-30 1774
本篇我们来看下关于批量写入的方法bulk。 bulk api可以在单个请求中一次执行多个索引或者删除操作，使用这种方式可以极大的提升索引性能。 bulk的语法格式是： action and meta_data \n optional source \n action and meta_data \n optional source \n action and meta_data \n op...
elasticsearch进行批量插入的时候总是少数据
01-07
现有a表和b表，两张mysql数据库的表，需要把两张表的数据取共同字段，合并并导入es中，其中a表共有数据1000条，b表共有数据1200条，a表和b表的主键id都是从1开始递增的，结果导入的时候显示成功导入2200条数据，而...
elasticbulk:将数据批量添加到elasticsearch。 它支持来自PostgreSQL或文件系统的数据流
05-02
弹性散装将数据批量添加到ElasticSearch。 它支持来自PostgreSQL，MSSQL，MySQL，MariaDB，SQLite3，文件系统和CSV的数据流开始npm install elasticbulk --save const elasticbulk = require ( 'elasticbulk' ) ;将...
基于Spring Batch向Elasticsearch批量导入数据示例
08-27
基于Spring Batch向Elasticsearch批量导入数据示例 本文介绍了基于Spring Batch向Elasticsearch批量导入数据示例，旨在解决大规模数据从数据库导入Elasticsearch时的效率问题。Spring Batch框架使用ItemReader分页...
elasticsearch超详细安装部署手册
11-03
本文将详细介绍在Linux和Windows系统上安装和部署Elasticsearch的详细步骤。 **Windows安装部署** 1. **下载与解压**：首先从官方渠道获取Elasticsearch的zip安装包，例如`elasticsearch-6.6.1.zip`，并将其解压到...
python3实现elasticsearch批量更新数据
01-20
废话不多说，直接上代码！ updateBody = { query:{ range:{ write_date: { gte: 2019-01-15 12:30:17, lte: now } } }, script: { inline: ctx._source.index = params.index, params: { ...}
es-bulk-update-builder:Elasticsearch的批量更新请求主体构建器
05-13
es-bulk-update-builder Elasticsearch的批量更新请求主体构建器安装$ npm install --save es-bulk-update-builder用法用法基本上如下： const BulkUpdateBuilder = require ( 'es-bulk-update-builder' ) ;...
Oracle数据批量导入elasticsearch脚本
12-31
Linux环境下使用sqlplus工具将oracle中的数据导入到elasticsearch中。只需要在es_bulk_tool.properties配置sql即可实现数据的批量导入。在elasticsearch6中测试通过。shell脚本需要使用sqlplus。
elasticsearch-bulk-insert-plugin.zip
12-07
ETL工具kettle7.1抽取数据目前不支持elasticsearch 2.X以上版本，如果想要支持elasticsearch 6.X以上版本,必须替换elasticsearch-bulk-insert-plugin插件，该资源提供该插件的替换。 具体步骤为在spoon kettle\data-...
批量写入数据到Elasticsearch
01-30
es 批量写入数据到Elasticsearch
Elasticsearch批量更新、删除的2种方法：_bulk、_delete_by_query、_update_by_query
小龙在线
06-23 3481
Elasticsearch 支持使用 _bulk API 进行批量更新操作。_bulk API 允许在一个请求中执行多个操作，如创建、索引、删除和更新。这样可以提高数据处理效率。以下是一个使用 _bulk API 进行批量更新的示例：假设您有一个名为 “my_index” 的索引，里面有一些文档，每个文档有一个 “status” 字段。现在您想要批量更新这些文档，将 “status” 的值从 “old” 更新为 “new”。每两行代表一个更新操作。
ElasticSearch bulk批量插入数据
ka3p06的博客
12-06 7230
环境：使用RestHighLevelClient进行bulk操作 代码如下： /** * es 批量存数据的方法 * 1.创建es clent * 2.创建bulk请求体 * 3.向bulk请求体中添加多个数据 * 4.发起rest请求 * 5.关闭client * @throws IOException */ ...
[ES7版本系列(四)] Java连接ElasticSearch向索引中(bulk)批量更新数据
寒夜二十五
07-09 6094
1.引入依赖,这里使用的是es的7以上的版本,使用elasticsearch-rest-high-level-client 来创建高级别的客户端 <!-- https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch --> <dependency> <groupId>org.elasticsearch</groupId> <artifact.
生成 Elasticsearch POST /_bulk 批量上传例子
04-01
以下是一个示例的 Elasticsearch POST /_bulk 批量上传请求： ``` POST /_bulk {"index":{"_index":"my_index","_id":"1"}} {"name":"John Doe","age":32,"email":"john.doe@example.com"} {"index":{"_index":"my_index","_id":"2"}} {"name":"Jane Smith","age":45,"email":"jane.smith@example.com"} {"index":{"_index":"my_index","_id":"3"}} {"name":"Bob Johnson","age":27,"email":"bob.johnson@example.com"} ``` 该请求会将三个文档插入到名为 "my_index" 的索引中，每个文档具有不同的 "_id" 值和属性。在请求体中，每个文档用一个 JSON 对象表示，它们按顺序出现在请求体中，并由 "index" 操作标记为要插入的文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值