java 使用springBoot 操作Elasticsearch组件

最新推荐文章于 2024-09-15 19:32:22 发布
最新推荐文章于 2024-09-15 19:32:22 发布
阅读量397 收藏 1
点赞数 1
分类专栏： java 文章标签： 组件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wt_white/article/details/84560182
版权

简介

  该代码是以组件的形式写入，使用时在其他方法中注入  ElasticSearchUtil 类进行使用，主要实现了动态的增删改查，分页模糊查询，以指定字段查询与全部字段进行全差

should和must的比较

should模式：就算有一个字段没有匹配的也会有结果返回
must模式：必须要求所有字段都匹配到，只要有一个字段不匹配就没有搜索结果

版本信息

  • Elasticsearch：2.x
  • jdk  1.8

maven 依赖


	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>1.5.8.RELEASE</version>
	</parent>


	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<java.version>1.8</java.version>
	</properties>

	<dependencies>
		<!-- elasticsearch start -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
		</dependency>
		<!-- springBoot start -->

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>com.sun.jna</groupId>
			<artifactId>jna</artifactId>
			<version>3.0.9</version>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-jetty</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-aop</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<!-- springBoot end -->

		<!-- json start -->
		<dependency>
			<groupId>com.alibaba</groupId>
			<artifactId>fastjson</artifactId>
			<version>1.2.4</version>
		</dependency>
		<!-- json end -->

	</dependencies>

config 底层操作类

package *.config;

import java.lang.reflect.Field;
import java.util.Map;
import java.util.Set;

import javax.annotation.PostConstruct;
import javax.annotation.PreDestroy;
import org.elasticsearch.action.bulk.BackoffPolicy;
import org.elasticsearch.action.bulk.BulkProcessor;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.delete.DeleteResponse;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchRequestBuilder;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.update.UpdateResponse;
import org.elasticsearch.client.Client;
import org.elasticsearch.common.unit.ByteSizeUnit;
import org.elasticsearch.common.unit.ByteSizeValue;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;

/**
 * 底层操作类
 * @ClassName: ElasticConfigration 
 * @date 2018年11月20日
 * @author tang wang
 *
 */
@Component
public class ElasticConfigration {

	private final Logger logger = LoggerFactory.getLogger(ElasticConfigration.class);

	@Autowired
	private Client client;

	private BulkProcessor bulkProcessor;
	@PostConstruct
	public void initBulkProcessor() {

		bulkProcessor = BulkProcessor.builder(client, new BulkProcessor.Listener() {

			@Override
			public void beforeBulk(long executionId, BulkRequest request) {
				logger.info("序号：{} 开始执行{} 条记录保存", executionId, request.numberOfActions());
			}

			@Override
			public void afterBulk(long executionId, BulkRequest request, Throwable failure) {
				logger.error(String.format("序号：%s 执行失败; 总记录数：%s", executionId, request.numberOfActions()), failure);
			}

			@Override
			public void afterBulk(long executionId, BulkRequest request, BulkResponse response) {
				logger.info("序号：{} 执行{}条记录保存成功,耗时：{}毫秒,", executionId,
						request.numberOfActions(), response.getTookInMillis());
			}
		}).setBulkActions(1000)
				.setBulkSize(new ByteSizeValue(10, ByteSizeUnit.MB))
				.setConcurrentRequests(4)
				.setFlushInterval(TimeValue.timeValueSeconds(5))
				/**
				 * 失败后等待多久及重试次数
				 */
				.setBackoffPolicy(BackoffPolicy.exponentialBackoff(TimeValue.timeValueMillis(500), 3))  
				.build();
	}


	@PreDestroy
	public void closeBulk() {
		if (bulkProcessor != null) {
			try {
				bulkProcessor.close();
			} catch (Exception e) {
				logger.error("close bulkProcessor exception", e);
			}
		}
	}


	/**
	 * 批量添加,性能最好
	 * 
	 */
	public void addDocumentToBulkProcessor(String indices, String type, Object object) {
		bulkProcessor.add(client.prepareIndex(indices, type).setSource(JSONObject.toJSONString(object)).request());
	}

	/**
	 * 添加数据 
	 * @Title:  ElasticConfigration   
	 * @Description:
	 * @param indices 索引名字 
	 * @param type    索引类型
	 * @param object  索引数据
	 * @author: tao wang 
	 * @date:   2018年11月14日
	 * @throws
	 */
	public void addDocument(String indices, String type, Object object) {

		IndexResponse resp = client.prepareIndex(indices, type).setSource(JSONObject.toJSONString(object)).get();
		logger.info("添加结果：{}", resp.toString());
	}

	/**
	 * 按照Id 进行删除
	 * @Title:  ElasticConfigration   
	 * @Description:
	 * @param index  索引名称
	 * @param type   索引类型
	 * @param id     数据Id
	 * @author: tao wang 
	 * @date:   2018年11月14日
	 * @throws
	 */
	public void deleteDocumentById(String index, String type, String id) {
		// new DeleteByQueryRequest(search);
		DeleteResponse resp = client.prepareDelete(index, type, id).get();
		logger.info("删除结果：{}", resp.toString());
	}

	/**
	 * 查询单个数据
	 * @param  index 引擎名称
	 * @param  type  引擎类型
	 * @param  id    引擎Id  
	 * @return   
	 * @auth tao wang
	 */

	public JSONObject getDocmentById(String index, String type, String id) {
		JSONObject obj = new JSONObject();
		GetResponse getResponse = client.prepareGet(index, type, id).get();
		Map<String, Object> map = getResponse.getSource();
		obj.put("id", id);
		obj.put("value", map);
		return JSONObject.parseObject(JSONObject.toJSONString(map));
	}


	/**
	 * 按ID更新
	 * @Title:  ElasticConfigration   
	 * @Description:
	 * @param indices  索引名称
	 * @param type    索引类型
	 * @param id      数据Id
	 * @param object  数据值
	 * @author: tao wang 
	 * @date:   2018年11月14日
	 * @throws
	 */
	public void updateDocument(String indices, String type, String id, Object object) {
		UpdateResponse resp = client.prepareUpdate(indices, type, id).setDoc(JSONObject.toJSONString(object)).get();
		logger.info("更新结果：{}", resp.toString());
	}

	/**
	 * 查询所有字段,默认分页
	 * @Title:  ElasticConfigration   
	 * @Description:
	 * @param indices 索引名称
	 * @param type    索引类型
	 * @param clazz   返回的集合对象
	 * @return
	 * @author: tao wang 
	 * @date:   2018年11月14日
	 * @throws
	 */
	public JSONArray queryDocumentByParam(String indices, String type) {
		SearchRequestBuilder builder = buildRequest(indices, type);
		SearchResponse resp = builder.get();
		return convertResponse(resp);
	}

	/**
	 * 进行分页数据查询
	 * @param indices  索引名称
	 * @param type    索引类型
	 * @param key     模糊字段
	 * @param value   模糊字段
	 * @param pageNumber  当前页数
	 * @param pageSize    每页显示数据
	 * @return   
	 * @auth tao wang
	 * @date 2018年11月26日
	 */
	public JSONArray queryDocumentByParam(String indices, String type, String key, String value, Integer pageNumber, Integer pageSize) {
		SearchRequestBuilder builder = buildRequest(indices, type);
		BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
		/**
		 * must 满足所有才返回
		 */
		boolQueryBuilder.must(QueryBuilders.wildcardQuery(key, ("*" + value + "*").toLowerCase()));
		builder.setQuery(boolQueryBuilder);
		builder.setFrom(pageNumber).setSize(pageSize);
		SearchResponse resp = builder.get();
		return convertResponse(resp);
	}

	/**
	 * 进行模糊查询所有，不进行分页
	 * @param indices  索引名称
	 * @param type    索引类型
	 * @param value   模糊字段
	 * @param obj     类
	 * @return   
	 * @auth tao wang
	 * @date 2018年11月26日
	 */
	@SuppressWarnings("rawtypes")
	public JSONArray queryDocumentByParam(String indices, String type, String value, Class clazz) {

		SearchRequestBuilder builder = buildRequest(indices, type);
		BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();


		// 获取实体类的所有属性信息，返回Field数组  
		Field[] fields = clazz.getDeclaredFields();  
		System.err.println(fields.toString());
		for (Field field : fields) {  
			/**
			 * should 满足一个都返回
			 */
			boolQueryBuilder.should(QueryBuilders.wildcardQuery(field.getName(), ("*" + value + "*").toLowerCase()));
			System.err.println(field.getName());  
		}  			
		builder.setQuery(boolQueryBuilder);
		SearchResponse resp = builder.get();
		return convertResponse(resp);
	}

	/**
	 * 进行模糊查询所有，不进行分页
	 * @param indices  索引名称
	 * @param type    索引类型
	 * @param value   模糊字段
	 * @param setKey     类的属性名称
	 * @return   
	 * @auth tao wang
	 * @date 2018年11月26日
	 */
	public JSONArray queryDocumentByParam(String indices, String type, String value, Set<String> setKey) {

		SearchRequestBuilder builder = buildRequest(indices, type);
		BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
		for (String string : setKey) {
			boolQueryBuilder.should(QueryBuilders.wildcardQuery(string, ("*" + value + "*").toLowerCase()));	
		}
		builder.setQuery(boolQueryBuilder);
		SearchResponse resp = builder.get();
		return convertResponse(resp);
	}

	/**
	 * 通用的装换返回结果
	 * @Title:  ElasticConfigration   
	 * @Description:
	 * @param response 数据
	 * @param clazz    实体类
	 * @return
	 * @author: tao wang 
	 * @date:   2018年11月14日
	 * @throws
	 */
	public JSONArray convertResponse(SearchResponse response) {
		JSONArray list = new JSONArray();
		if (response != null && response.getHits() != null) {
			for (SearchHit hit : response.getHits()) {
				Map<String, Object> source = hit.getSource();
				String result = JSONObject.toJSONString(source);
				if (org.springframework.util.StringUtils.hasText(result)) {
					JSONObject obj = new JSONObject();
					obj.put("id", hit.getId());
					obj.put("value", result);
					list.add(obj);
				}
			}
		}
		return list;
	}

	/**
	 * 进行数据数据绑定
	 * @Title:  ElasticConfigration   
	 * @Description: 
	 * @param indices  索引名称
	 * @param type    索引类型
	 * @return
	 * @author: tao wang 
	 * @date:   2018年11月14日
	 * @throws
	 */
	public SearchRequestBuilder buildRequest(String indices, String type) {
		return client.prepareSearch(indices).setTypes(type);
	}
}

业务实现类：

 

package *.util;

import java.util.Set;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import *.config.ElasticConfigration;

/**
 * 业务实现接口
 * @ClassName: ElasticSearchUtil 
 * @date 2018年11月20日
 * @author tang wang
 *
 */
@Component
public class ElasticSearchUtil {

	@Autowired
	private  ElasticConfigration elasticConfigration;

	/**
	 * 添加指定的索引名称和类型数据
	 * @Title:  ElasticConfigUtil   
	 * @Description:
	 * @param indices 索引名称
	 * @param type    索引类型
	 * @param object  JSON 对象
	 * @return
	 * @author: tao wang 
	 * @date:   2018年11月14日
	 * @throws
	 */
	public  boolean   insert(String indices, String type, JSONObject object) {
		elasticConfigration.addDocument(indices.toLowerCase(), type.toLowerCase(), object);
		return true;
	}

	/**
	 * 添加多条数据
	 * @param indices 索引名称
	 * @param type    索引类型
	 * @param array   索引的对象集合
	 * @return
	 */
	public  boolean  insert(String indices, String type, JSONArray array) {
		for (Object object : array) {
			elasticConfigration.addDocument(indices.toLowerCase(), type.toLowerCase(), object);
		}
		return true;
	}

	/**
	 * 删除单条数据
	 * @param @param indices 索引名称
	 * @param @param type   索引类型
	 * @param @param id    索引Id
	 * @param @return 
	 * @return   
	 * @auth tao wang
	 */
	public boolean delete(String indices, String type, String id) {
		elasticConfigration.deleteDocumentById(indices.toLowerCase(), type.toLowerCase(), id);
		return true;
	}

	/**
	 * 删除多条数据
	 * @param @param indices 索引名称
	 * @param @param type    索引类型
	 * @param @param ids     id 集合
	 * @param @return 
	 * @return   
	 * @auth tao wang
	 */
	public boolean delete(String indices, String type, Set<String> ids) {
		for (String id : ids) {
			elasticConfigration.deleteDocumentById(indices.toLowerCase(), type.toLowerCase(), id);
		}
		return true;
	}

	/**
	 * 获取单个数据
	 * @param @param index 索引名称
	 * @param @param type 索引类型
	 * @param @param id   索引Id
	 * @param @return  返回数据
	 * @return   
	 * @auth tao wang
	 */
	public JSONObject getDocmentById(String indices, String type, String id) {
		return elasticConfigration.getDocmentById(indices.toLowerCase(), type.toLowerCase(), id);
	}

	/**
	 * 修改单条数据
	 * @param @param indices 索引名称
	 * @param @param type   索引类型
	 * @param @param id     索引Id
	 * @param @param object  修改数据 数据不修改传原值
	 * @param @return 
	 * @return   
	 * @auth tao wang
	 */
	public boolean  update(String indices, String type, String id, JSONObject object) {
		elasticConfigration.updateDocument(indices.toLowerCase(), type.toLowerCase(), id, object);
		return true;
	}

	/**
	 * 分页查询搜索引擎里面的数据
	 * @Title:  ElasticSearchUtil   
	 * @Description:
	 * @param pageNumber 当前页数
	 * @param pageSize  每页条数
	 * @param key    要模糊字段名称
	 * @param value  要模糊字段值
	 * @param indices 索引名称
	 * @param type    索引类型
	 * @param 
	 * @return
	 * @author: tao wang 
	 * @date:   2018年11月12日
	 * @throws
	 */

	public JSONArray searchEmployee(String indices, String type, Integer pageNumber, 
			Integer pageSize, String key, String value) {
		return elasticConfigration.queryDocumentByParam(indices.toLowerCase(), type.toLowerCase(),
				key, value, pageNumber, pageSize);
	}


	/**
	 * 查询搜索里面的数据
	 * @param indices 索引名称
	 * @param type   索引类型
	 * @param value  模糊字段名称
	 * @param obj    类属性
	 * @return   
	 * @auth tao wang
	 * @date 2018年11月26日
	 */
	@SuppressWarnings("rawtypes")
	public JSONArray searchEmployee(String indices, String type, String value, Class  clazz) {
		return elasticConfigration.queryDocumentByParam(indices.toLowerCase(), type.toLowerCase(), value, clazz);
	}

	/**
	 * 查询搜索里面的数据
	 * @param indices  索引名称
	 * @param type    索引类型
	 * @param value   模糊字段名称
	 * @param setKsy  类属性名称集合
	 * @return   
	 * @auth tao wang
	 * @date 2018年11月26日
	 */
	public JSONArray searchEmployee(String indices, String type, String value, Set<String> setKsy) {
		return elasticConfigration.queryDocumentByParam(indices.toLowerCase(), type.toLowerCase(), value, setKsy);
	}


	/**
	 * 不进行分页查询
	 * @Title:  ElasticSearchUtil   
	 * @Description:
	 * @param key    要模糊字段名称，多个中间逗号分开
	 * @param value  要模糊字段值
	 * @param indices 索引名称
	 * @param type    索引类型
	 * @param clazz   要返回的类集合
	 * @return
	 * @author: tao wang 
	 * @date:   2018年11月12日
	 * @throws
	 */

	public JSONArray searchEmployee(String indices, String type) {
		return elasticConfigration.queryDocumentByParam(indices.toLowerCase(), type.toLowerCase());
	}

}

配置类：application.properties




##es的名称 默认为elasticsearch
spring.data.elasticsearch.cluster-name=*
#配置es节点信息，逗号分隔，如果没有指定，则启动ClientNode
spring.data.elasticsearch.cluster-nodes=*:9300

 

wt_Anytao
关注
专栏目录
Spring boot elasticsearch demo
10-30
基于spring boot 的 elastic search 例子 以及基础配置
springBoot动态操作Elasticsearch组件
11-27
在本文中，我们将深入探讨如何在Spring Boot应用中动态地操作Elasticsearch组件。Elasticsearch是一个开源的、分布式搜索引擎，常用于大数据分析和实时搜索。Spring Boot与Elasticsearch的集成使得在Java环境中处理 ...
【Java】SpringBoot快速整合ElasticSearch
m0_64210833的博客
12-29 9045
SpringBoot快速整合ElasticSearch
Spring Boot 封装 Es 详解
最新发布
cmh1008611的博客
09-15 1432
*** @Description 文件*//** ID名称 */
【Spring全家桶系列超全整理之SpringBoot框架】9 SpringBoot整合elasticsearch检索功能
冰冻三尺，非一日之寒
02-06 348
一篇带你入门Spring框架精髓的博客，图文并茂，火速三连！
Springboot+ElasticSearch 项目实战（三）
Ocean111best的博客
01-17 7040
这篇接着上一篇(https://blog.csdn.net/Ocean111best/article/details/86092862)，本来准备上一篇写完，但是发现还是太多，故再写一篇。 发现刚开始写博客时，千言万语，最后确不知道怎么说，只有直接简单粗暴地贴代码了，希望以后坚持多写，慢慢地有所提高。 四、Springboot 操作 ElasticSearch 一、首先配置整个项目的 app...
基于SpringBoot+ElasticSearch+vue.js+Java开发的大数据营销系统.zip
05-18
【标题】"基于SpringBoot+ElasticSearch+vue.js+Java开发的大数据营销系统"揭示了这个项目的核心技术栈，它是一个使用现代化开发工具和技术构建的大数据处理和营销平台。SpringBoot是Spring框架的一个轻量级衍生版，...
springboot+elasticsearch，入门最详细的项目
11-08
SpringBoot与Elasticsearch是现代Java开发中两个非常重要的技术组件。SpringBoot简化了Spring应用程序的初始设置和配置，而Elasticsearch则是一种强大的、分布式、实时的搜索和分析引擎，广泛用于日志分析、实时监控...
springboot项目查询es中的日志内容
04-21
通过以上步骤，我们已经构建了一个完整的系统，能够将操作数据存入Elasticsearch，然后使用SpringBoot的Java客户端查询和筛选日志，前端使用layui展示和过滤结果。这样的系统不仅方便日志管理，也有利于后期的数据...
SpringBoot整合Elasticsearch
努力分享一些干货内容，纯干货，没有一点水
03-27 313
Document 注解主要声明索引名、类型名、分片数量和备份数量。@Field 注解主要声明字段对应ES的类型。要注意导入依赖的版本和安装。
Elasticsearch BulkProcessor 的具体实现
CREATE_17的博客
08-11 1294
每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。放弃不难，但坚持很酷~Elasticsearch 使用 BulkProcessor 将 Bulk API 进一步封装，大大简化了对...
SpringBoot 集成Elasticsearch简单八步
程序人生
07-21 1869
Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据
ElasticSearch - 批量更新bulk死锁问题排查
京东科技开发者
07-12 302
一、问题系统介绍监听商品变更MQ消息，查询商品最新的信息，调用BulkProcessor批量更新ES集群中的商品字段信息;由于商品数据非常多，所以将商品数据存储到ES集群上，整个ES集群共划分了256个分片，并根据商品的三级类目ID进行分片路由。比如一个SKU的商品名称发生变化，我们就会收到这个SKU的变更MQ消息，然后再去查询商品接口，将商品的最新名称查询回来，再根据这个SKU的三级分类ID进行...
【ES】springboot使用bulkProcessor定时用quartz同步mysql数据到es中（基本引用即用）
yuxiangdeming的博客
12-08 3398
一、项目中添加一个工具类就可以了 配置类不用改，需要改的地方就是业务需求的地方 每两分钟同步一次，加了个定时任务 自已已应用到测试环境，是能正常运行的 package com.example.gauditdemo.config; import org.apache.http.HttpHost; import org.elasticsearch.client.RestClient; import org.elasticsearch.client.RestHighLevelC.
ElasticSearch高级操作
凉茶铺的博客
04-22 1200
介绍了ElasticSearch的高级操作（使用java代码操作）
elasticsearch使用bulk实现批量操作
spring_root的博客
08-21 734
一、原生批量获取文档 1、获取指定文档值（1） 语法： GET /_mget { “doce”:[ { “_index”:”索引名1”, “_type”:”类型1”, “_id”:”id” }, { “_index”:”索引名1”, “_type”:”类型1”, “_id”:”id” ...
Elasticsearch报错：java.lang.NoSuchMethodError：org.elasticsearch.action.bulk.BulkRequest.pipeline（）Ljav
qq_42727102的博客
01-12 2881
1.今天在使用Elasticsearch时，报错：java.lang.NoSuchMethodError：org.elasticsearch.action.bulk.BulkRequest.pipeline（）Ljava / lang / String; 2.最后找出原因是：依赖包版本不一致导致的 3.用下面的依赖即可： <dependency> <gro...
ElasticSearch学习笔记-JavaAPI操作记录
PURSUE ONE PIECE
11-04 3574
客户端连接代码： ElasticSearch版本：2.4.x <!-- ElasticSearch依赖包--> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值