Elasticsearch 2.0以上版本根据条件批量删除Java如何实现

最新推荐文章于 2024-09-27 13:55:26 发布
最新推荐文章于 2024-09-27 13:55:26 发布
阅读量1.9k 收藏 3
点赞数
分类专栏： elasticsearch

Elasticsearch在2.0以前版本，删除操作有两种方式，一种是通过id来进行删除，但是这种方式一般不常用，因为id不容易得到；另一种方式是通过先查询操作，然后删除，也就是通过client.prepareDeleteByQuery这种方式来根据条件批量删除数据：

[java]  view plain  copy
  1. DeleteByQueryResponse response = client.prepareDeleteByQuery("library")  
  2. .setQuery(QueryBuilders.termQuery("title", "ElasticSearch"))  
  3. .execute().actionGet();  

但是Delete by Query在2.0版本及其以上的版本已经被移除了，因为这种方式会自动强制刷新，所以在大量索引并发的情况下，会很快造成内存溢出。

详情可查看：https://www.elastic.co/guide/en/elasticsearch/client/java-api/1.7/delete-by-query.html

那么在2.0以后的版本，我们如何来进行批量的删除呢？

我们可以先通过Search API查询，然后得到需要删除的批量数据的id，然后再通过id来删除，但是这种方式在大批量数据的删除的时候，依然是行不通的。

具体实现代码：

[java]  view plain  copy
  1. public void deleteByTerm(Client client){  
  2.     BulkRequestBuilder bulkRequest = client.prepareBulk();  
  3.     SearchResponse response = client.prepareSearch("megacorp").setTypes("employee")  
  4.             .setSearchType(SearchType.DFS_QUERY_THEN_FETCH)  
  5.             .setQuery(QueryBuilders.termQuery("first_name", "xiaoming"))  
  6.             .setFrom(0).setSize(20).setExplain(true).execute().actionGet();  
  7.     for(SearchHit hit : response.getHits()){  
  8.         String id = hit.getId();  
  9.         bulkRequest.add(client.prepareDelete("megacorp", "employee", id).request());  
  10.     }  
  11.     BulkResponse bulkResponse = bulkRequest.get();  
  12.     if (bulkResponse.hasFailures()) {  
  13.         for(BulkItemResponse item : bulkResponse.getItems()){  
  14.             System.out.println(item.getFailureMessage());  
  15.         }  
  16.     }else {  
  17.         System.out.println("delete ok");  
  18.     }  
  19.       
  20. }  

同样通过delete-by-query插件，我们还可以根据type来批量删除数据，这种方式能够删除大批量的数据，他是现将要删除的数据一个一个做标记，然后再删除，于是效率会比较低。下面是官网的说明：https://www.elastic.co/guide/en/elasticsearch/plugins/2.3/plugins-delete-by-query.html

Queries which match large numbers of documents may run for a long time, as every document has to be deleted individually. Don’t use delete-by-query to clean out all or most documents in an index. Rather create a new index and perhaps reindex the documents you want to keep. 

可见这种删除方式并不适合大批量数据的删除，因为效率真的是很低，我是亲身体验过了。


这种方式需要先引入delete-by-query插件包，然后使用插件的api来删除：

[java]  view plain  copy
  1. <dependency>  
  2.     <groupId>org.elasticsearch.plugin</groupId>  
  3.     <artifactId>delete-by-query</artifactId>  
  4.     <version>2.3.2</version>  
  5. </dependency>  


具体实现代码：

[java]  view plain  copy
  1. import java.net.InetAddress;  
  2. import java.net.UnknownHostException;  
  3. import java.util.ResourceBundle;  
  4. import java.util.Stack;  
  5.   
  6. import org.elasticsearch.action.deletebyquery.DeleteByQueryAction;  
  7. import org.elasticsearch.action.deletebyquery.DeleteByQueryRequestBuilder;  
  8. import org.elasticsearch.action.deletebyquery.DeleteByQueryResponse;  
  9. import org.elasticsearch.action.search.SearchRequestBuilder;  
  10. import org.elasticsearch.action.search.SearchResponse;  
  11. import org.elasticsearch.action.search.SearchType;  
  12. import org.elasticsearch.client.Client;  
  13. import org.elasticsearch.client.transport.TransportClient;  
  14. import org.elasticsearch.common.settings.Settings;  
  15. import org.elasticsearch.common.transport.InetSocketTransportAddress;  
  16. import org.elasticsearch.plugin.deletebyquery.DeleteByQueryPlugin;  
  17. import org.slf4j.Logger;  
  18. import org.slf4j.LoggerFactory;  
  19.   
  20. import com.xgd.log.common.ExceptionUtil;  
  21.   
  22. public class EsDeleteByType {  
  23.   
  24.     private static final Logger logger = LoggerFactory.getLogger(EsDeleteByType.class);  
  25.     private Client client;  
  26.       
  27.     private static ResourceBundle getEsConfig(){  
  28.         return ResourceBundle.getBundle("elasticsearch");  
  29.     }  
  30.       
  31.     private void getClient(){  
  32.         String clusterName = getEsConfig().getString("clusterName");  
  33.         String hosts = getEsConfig().getString("hosts");  
  34.         if (hosts == null || clusterName == null) {  
  35.             throw new IllegalArgumentException("hosts or clusterName was null.");  
  36.         }  
  37.         Settings settings = Settings.settingsBuilder().put("cluster.name", clusterName).build();  
  38.         client = TransportClient.builder()  
  39.                 .addPlugin(DeleteByQueryPlugin.class)  
  40.                 .settings(settings).build();  
  41.         String[] hostsArray = hosts.split(",");  
  42.         for(String hostAndPort : hostsArray){  
  43.             String[] tmpArray = hostAndPort.split(":");  
  44.             try {  
  45.                 client = ((TransportClient)client).addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(tmpArray[0]), Integer.valueOf(tmpArray[1])));  
  46.             } catch (NumberFormatException e) {  
  47.                 logger.error(ExceptionUtil.getTrace(e));  
  48.             } catch (UnknownHostException e) {  
  49.                 logger.error(ExceptionUtil.getTrace(e));  
  50.             }  
  51.         }  
  52.     }  
  53.       
  54.     /** 
  55.      * 判断一个index中的type是否有数据 
  56.      * @param index 
  57.      * @param type 
  58.      * @return 
  59.      * @throws Exception 
  60.      */  
  61.     public Boolean existDocOfType(String index, String type) throws Exception {  
  62.         SearchRequestBuilder builder = client.prepareSearch(index).setTypes(type)  
  63.                 .setSearchType(SearchType.QUERY_THEN_FETCH)  
  64.                 .setSize(1);  
  65.         SearchResponse response = builder.execute().actionGet();  
  66.         long docNum = response.getHits().getTotalHits();  
  67.         if (docNum == 0) {  
  68.             return false;  
  69.         }  
  70.         return true;  
  71.     }  
  72.   
  73.     /** 
  74.      * 根据type来删除数据 
  75.      * @param index 
  76.      * @param types 
  77.      * @return 
  78.      */  
  79.     public long deleteDocByType(String index, String[] types) {  
  80.         getClient();  
  81.         long oldTime = System.currentTimeMillis();  
  82.         StringBuilder b = new StringBuilder();  
  83.         b.append("{\"query\":{\"match_all\":{}}}");  
  84.         DeleteByQueryResponse response = new DeleteByQueryRequestBuilder(client, DeleteByQueryAction.INSTANCE)  
  85.         .setIndices(index).setTypes(types)  
  86.         .setSource(b.toString())  
  87.         .execute().actionGet();  
  88.         Stack<String> allTypes = new Stack<String>();  
  89.         for(String type : types){  
  90.             allTypes.add(type);  
  91.         }  
  92.         while(!allTypes.isEmpty()){  
  93.             String type = allTypes.pop();  
  94.             while(true){  
  95.                 try {  
  96.                     if (existDocOfType(index, type) == false) {  
  97.                         break;  
  98.                     }  
  99.                 } catch (Exception e) {  
  100.                     logger.error("queryError: " + e.getMessage());  
  101.                 }  
  102.             }  
  103.         }  
  104.         System.out.println(System.currentTimeMillis() - oldTime);  
  105.         return response.getTotalDeleted();  
  106.     }  
  107. }  



那么当我们在开发中，使用到elasticsearch的时候，总会涉及到大批量数据的删除，我们要怎么办呢？

经过很长时间的纠结，我发现使用elasticsearch存储数据的时候，千万不要把所有数据都存储于一个index，这样一个是不利于查询的效率，一个是不利于后面的删除，既然我们不能index中去删除部分的大批量数据，那么我们为啥不改变一种思路呢，就是分索引，然后通过索引来删除数据，例如：我在生产上面，每天有5亿的数据，那么我每天在集群中生成一个index用于存储这5亿的数据，如果我们的elasticsearch集群对数据只要求保存7天的数据，超过7天的数据就可以删除了，这样我们可以通过index直接删除7天以前的数据，这种方式，我们在查询的时候不会在所有数据中查询，只需要在所要查询的时间段内查询，便提高了查询的效率，同时删除效率的问题也解决了，能够很快删除不需要的数据，释放掉磁盘空间。

针对于elasticsearch大批量数据删除效率的问题，目前官网上面也没有一个特别好的解决办法，这种方式算是目前还算能行得通的方式了

SpringBoot整合ElasticSearch实现多版本的兼容
2401_84094979的博客
05-04 876
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！[{“id”:2,“name”:“李四”,“age”:14,“description”:“李四是个测试工程师”,“createtm”: “1980-2-15 19:01:32”}, {“id”:1,“name”:“张三”,“age”:20,“description”:“张三是个Java开发工程师”, “createtm”: “2018-4-25 11:07:42”}, {“id”:3,“name”:“王五”,
SpringBoot整合ElasticSearch实现多版本的兼容(1)
2401_84094908的博客
05-04 774
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！ 代码测试调用接口进行添加数据新增数据:POST http://localhost:8086/api/user{“id”:1,“name”:“张三”,“age”:20,“description”:“张三是个Java开发工程师”,“createtm”:“2018-4-25 11:07:42”} {“id”:2,“name”:“李四”,“age”:24,“description”:“李四是个测试工程师”,“cre
ElasticSearch在Java中实现条件删除
周天祥的博客
04-21 2万+
ElasticSearch在Java中实现条件删除 适用范围ElasticSearch6.x 如果是ElasticSearch7或以上版本情转到如下链接 REST高级客户端-DocumentApi：https://blog.csdn.net/u014646662/article/details/96473156 REST高级客户端SearchApi：https://blog.csdn.ne...
从 ElasticSearch 中删除数据的几种方式
最新发布
2301_76419561的博客
09-27 1875
在Elasticsearch中删除数据是一个常见的操作，它可以通过多种方式实现，以满足不同的应用场景和需求。
ElasticSearch7.1 java批量删除数据
lbl251的博客
01-27 3609
1、今天产品需求说要做es的数据导出，导出完后删除原有的数据 2、导出数据并跟据ID进行删除 3、上代码 @Override public void delete( List<String> lists) { BulkRequest request = new BulkRequest(); for (String smsStr : lists) { DeleteRequest deleteRequest=new DeleteReq
elasticsearch根据条件删除数据
m0_67393342的博客
08-16 978
数据中只有一条符合条件的。
Elasticsearch Delete （根据条件删除文档）
loveLifeLoveCoding的博客
10-23 2111
通常情况下，我们删除索引中的文档时，我们会使用如下方式删除文档。虽然这种方式能满足大多数情况下的文档删除，但是在某些时候需要删除满足特定条件的文档。
使用 SpringBoot2.0+ElasticSearch 实现的开源电影搜索引擎
05-30
在本项目中，我们主要探讨的是如何利用SpringBoot 2.0框架与Elasticsearch构建一个开源的电影搜索引擎。这是一个结合了Java技术、大数据处理以及高效检索能力的综合性项目，对于学习和理解现代Web应用程序开发有着...
Elasticsearch的单条插入批量插入及根据条件删除记录的操作转java代码示例
梨木乔
12-27 2344
Elasticsearch的部分操作（单条插入批量插入及根据条件删除记录），转java代码的示例如下： /** 批量插入多条记录到ES中(client即为RestHighLevelClient的一个实例，此处不在具体展示其创建过程) * @param dataList * @param indexName */ public void writeDataToES(List<Map<String, Object>> dataList, String indexName)
ElasticSearch删除索引中的数据（delete_by_query）
IT之一小佬的博客
04-17 1万+
ElasticSearch删除索引中的数据（delete_by_query）
Elasticsearch教程(27) ES拼接查询条件的工具类
Java Spring Elasticsearch
12-29 5463
ES拼接查询条件的工具类一、前言二、工具类三、测试四、总结 一、前言 在大多数公司产线Elasticsearch还在6.X的时候，ES已经更新到7.10.1了，这更新速度。 目前我手上的项目也做到一套工具类兼容ES6.1到ES7.9+。我用的是原生的ES6.8.12的Java API来实现的工具类。目前功能上线几个月没有出过错。 工作中用ES查询大于插入，所以代码里到处都是拼接ES查询条件的语句，ES本身的Java API已经很强大了，我们利用BoolQueryBuilder和QueryBuilders可以
es使用java来批量创建文档和批量删除文档（基于es7.8）
晓缔的专栏
01-27 1717
es使用java来批量创建文档和批量删除文档
java操作ElasticSearch之批量操作
weixin_37701609的博客
01-06 3167
【代码】java操作ElasticSearch之批量操作。
Java(100):Java操作elasticsearch增删查(按条件查删)(RestHighLevelClient)
fen_fen的专栏
08-21 4599
Java操作ES增删查(RestHighLevelClient)
Elasticsearch批量更新、删除的2种方法：_bulk、_delete_by_query、_update_by_query
小龙在线
06-23 4519
Elasticsearch 支持使用 _bulk API 进行批量更新操作。_bulk API 允许在一个请求中执行多个操作，如创建、索引、删除和更新。这样可以提高数据处理效率。以下是一个使用 _bulk API 进行批量更新的示例：假设您有一个名为 “my_index” 的索引，里面有一些文档，每个文档有一个 “status” 字段。现在您想要批量更新这些文档，将 “status” 的值从 “old” 更新为 “new”。每两行代表一个更新操作。
JAVA API调用elasticsearch实现基本增删改查
2401_84408759的博客
04-18 780
map.put(map.put(map.put(map.put(map.put(System.out.println(/*** 传递json对象* 需要添加依赖:gson@returnvoid@Title:addIndex4*/@TestJSON).get();
ElasticSearch入门-增删改查(java api)
IT打工匠
03-23 8281
1.增加Index PutMappingRequest mapping = Requests.putMappingRequest(indices).type(mappingType).source(getNewsMapping()); client.admin().indices().putMapping(mapping).actionGet(); clien
06.delete_by_query操作
热门推荐
寒夜
10-20 2万+
文章目录1. Delete By Query API简介2. URL参数3. 响应体4. 配合Task API使用1. 配合取消任务API使用5. 切片并行1. 手动切片并行2. 自动切片3. 挑选slice的数量 1. Delete By Query API简介 根据查询API进行删除 最简单的用法是使用_delete_by_query对每个查询匹配的文档执行删除。这是API: POST twitter/_delete_by_query { "query": { //① "match": {
Elasticsearch8.2.0版本中Elasticsearch Java API Client客户端怎么进行根据条件删除操作
06-08
在Elasticsearch8.2.0版本中，可以使用Elasticsearch Java API Client客户端进行...以上就是在Elasticsearch8.2.0版本中使用Elasticsearch Java API Client客户端进行根据条件删除操作的基本步骤，希望能对您有所帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值