elasticsearch批量操作之bulk

---

前言

本篇文章主要总结如何使用bulk对es进行批量操作，若有不足请教大神门在评论区多多补充。

一、bulk概述

1.1 基础概念

bulk是es提供的一种批量增删改的操作API。

1.2 bulk语法

bulk对JSON串的有着严格的要求。每个JSON串不能换行，只能放在同一行，同时，相邻的JSON串之间必须要有换行（Linux下是\n；Window下是\r\n）。bulk的每个操作必须要一对JSON串（delete语法除外）

例如若增加一个文档如下所示：

POST _bulk
{"create": {"_index": "example", "_type": "docs", "_id": 11}}
{"name": "test_bulk", "counter":"100"}

1.3 操作类型

• create 如果文档不存在就创建，但如果文档存在就返回错误
• index 如果文档不存在就创建，如果文档存在就更新
• update 更新一个文档，如果文档不存在就返回错误
• delete 删除一个文档，如果要删除的文档id不存在，就返回错误

从以上可以看出index是比较常用的，因为bulk操作失败不会影响其他文档操作，我们可以从他的返回结果中查看失败的详细原因。

二、使用示例

为了大家更快掌握使用方法，我们直接上代码

2.1 批量插入

代码如下（示例）：

public void importData(){
   List<Map<String, Object>> list = new ArrayList<>();
   for (int i = 0; i < 10; i++) {
       Map<String, Object> map = new HashMap<>();
       map.put("name", "金手杖按摩会所");
       map.put("id", i);
       list.add(map);
   }
   handleData
}

private void handleData(List<Map<String, Object>> list) {
    BulkRequest request = new BulkRequest();
    for (int i = 0; i < list.size(); i++) {
        Map<String, Object> map = list.get(i);
        request.add(new IndexRequest("indexName").id(String.valueOf(map.get("id"))).source(map, XContentType.JSON));
    }
    try {
        client.bulk(request, RequestOptions.DEFAULT);
    } catch (IOException e) {
        e.printStackTrace();
    }
}

2.2 批量更新

这里我们根据id批量更新其中的name

public void updateNameByIds(List<String> ids) {
	//这里我们把所有要更新的name统一更新为：大众洗浴
    BulkRequest request = new BulkRequest();
    // 更新热度值
    for (String id : ids) {
        //使用map集合存储我们要修改的字段和要修改的数据
        Map<String, Object> map = new HashMap<>();
        map.put("name", "大众洗浴");
        //第一个参数是索引，第二个参数是id，然后使用doc来放我们要修改的数据和集合
        request.add(new UpdateRequest("indexName", id).doc(map));
    }
    //批量更新操作
    try {
        restHighLevelClient.bulk(request, RequestOptions.DEFAULT);
    } catch (IOException e) {
        LOGGER.error("更新失败:" + e.getMessage());
    }
}

2.3 批量删除

代码如下（示例）：

public void deleteByIds(List<String> ids) {
    BulkRequest request = new BulkRequest();
    // 更新热度值
    for (String id : ids) {
        //第一个参数是索引，第二个参数是id，然后使用doc来放我们要修改的数据和集合
        request.add(new DeleteRequest("indexName", id));
    }
    //批量删除操作
    try {
        restHighLevelClient.bulk(request, RequestOptions.DEFAULT);
    } catch (IOException e) {
        LOGGER.error("删除失败:" + e.getMessage());
    }
}

如果想根据指定条件进行删除我们也可以使用以下操作,但其删除比较慢：

public void deleteByKindId(String indexName,String name)throws Exception{
    DeleteByQueryRequest deleteByQueryRequest = new DeleteByQueryRequest(indexName);
    
    deleteByQueryRequest.setQuery(QueryBuilders.termsQuery("name", name));
    
    remoteHighLevelClient.deleteByQuery(deleteByQueryRequest, RequestOptions.DEFAULT);
}

---

总结

以上就是今天要讲的内容，本文仅仅简单介绍了bulk的使用，在数据量比较大的时候我们通常再结合游标的方式分批进行插入。