Elastic Search工具类

最新推荐文章于 2024-08-21 17:10:59 发布
最新推荐文章于 2024-08-21 17:10:59 发布
阅读量373 收藏
点赞数
分类专栏： 工具 文章标签： Elastic Search
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/canfengli/article/details/101221601
版权

项目背景

需要在非Spring环境(Spark)下使用ES的增删改查,新增此工具类方便开发。

maven依赖

        <!-- 若需要对ES增删改查 需引入ES高级客户端 -->
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>6.3.2</version>
        </dependency>
         <!-- Junit测试 -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13-beta-3</version>
        </dependency>

工具类源代码

import org.apache.commons.lang.time.DateFormatUtils;
import org.apache.http.HttpHost;
import org.apache.http.auth.AuthScope;
import org.apache.http.auth.UsernamePasswordCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.apache.log4j.Logger;
import org.elasticsearch.ElasticsearchException;
import org.elasticsearch.action.DocWriteResponse;
import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexResponse;
import org.elasticsearch.action.admin.indices.get.GetIndexRequest;
import org.elasticsearch.action.delete.DeleteRequest;
import org.elasticsearch.action.delete.DeleteResponse;
import org.elasticsearch.action.get.GetRequest;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.support.replication.ReplicationResponse;
import org.elasticsearch.action.update.UpdateRequest;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.rest.RestStatus;

import java.io.IOException;
import java.util.*;

/**
 * ES连接工具包
 * @author licanfeng
 * @date 2019-09-26
 */
public class EsUtils {
	/**
	 * 构造方法私有 不允许new创建实例
	 */
	private EsUtils(){
	}
	private static Logger LOGGER = Logger.getLogger(EsUtils.class);
	private static volatile RestHighLevelClient restHighLevelClient = null;
	/**
	 * ES 中index后缀 日期
	 */
	private static final String LOG_DATE_PATTERN = "yyyyMMdd";
	/**
	 * 获取ES连接
	 */
	public static synchronized RestHighLevelClient getClient(String esNode, Integer esPort, String esUserName, String esPassword) {
		if(restHighLevelClient == null){
			//密码验证
			final CredentialsProvider credentialsProvider =
					new BasicCredentialsProvider();
			credentialsProvider.setCredentials(AuthScope.ANY,
					new UsernamePasswordCredentials(esUserName, esPassword));

			RestClientBuilder builder = RestClient.builder(
					new HttpHost(esNode, esPort))
					.setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder
							.setDefaultCredentialsProvider(credentialsProvider));
			builder.setMaxRetryTimeoutMillis(60000);
			restHighLevelClient = new RestHighLevelClient(builder);
			LOGGER.info("ES连接创建成功！");
		}
		return restHighLevelClient;
	}

	/**
	 * 创建文档
	 * @param index 索引名
	 * @param josonStr 文档json字符串
	 * @return
	 * @throws Exception
	 */
	public static boolean createDocument(String index, String josonStr) throws Exception {
		return createDocument(index, "doc", null, josonStr);
	}

	/**
	 * 创建文档
	 * @param index
	 * @param josonStr
	 * @return
	 * @throws Exception
	 */
	public static boolean createDocument(String index, Map<String, Object> map) throws Exception {
		return createDocument(index, "doc", null, map);
	}

	/**
	 * 创建指定ID文档：jsonStr
	 * 若documentId已存在 则更新文档
	 * @param index 索引名
	 * @param indexType 默认使用doc类型
	 * @param documentId documentId推荐为空，由ES自动创建
	 * @param josonStr 文档json字符串
	 * @return
	 * @throws Exception
	 */
	public static boolean createDocument(String index, String indexType, String documentId, String josonStr) throws Exception {
		IndexRequest request = new IndexRequest(index, indexType, documentId);
		request.source(josonStr, XContentType.JSON);
		IndexResponse indexResponse = restHighLevelClient.index(request);

		if (indexResponse.getResult() == DocWriteResponse.Result.CREATED
				|| indexResponse.getResult() == DocWriteResponse.Result.UPDATED) {
			return true;
		}
		ReplicationResponse.ShardInfo shardInfo = indexResponse.getShardInfo();
		if (shardInfo.getTotal() != shardInfo.getSuccessful()) {
			return true;
		}
		if (shardInfo.getFailed() > 0) {
			for (ReplicationResponse.ShardInfo.Failure failure : shardInfo
					.getFailures()) {
				throw new Exception(failure.reason());
			}
		}
		return false;
	}

	/**
	 * 创建指定ID文档：jsonStr
	 * 若documentId已存在 则更新文档
	 * @param index 索引名
	 * @param indexType 默认使用doc类型
	 * @param documentId documentId推荐为空，由ES自动创建
	 * @param map 文档Map
	 * @return
	 * @throws Exception
	 */
	public static boolean createDocument(String index, String indexType, String documentId, Map<String,Object> map) throws Exception {
		IndexRequest request = new IndexRequest(index, indexType, documentId);
		request.source(map);
		IndexResponse indexResponse = restHighLevelClient.index(request);

		if (indexResponse.getResult() == DocWriteResponse.Result.CREATED
				|| indexResponse.getResult() == DocWriteResponse.Result.UPDATED) {
			return true;
		}
		ReplicationResponse.ShardInfo shardInfo = indexResponse.getShardInfo();
		if (shardInfo.getTotal() != shardInfo.getSuccessful()) {
			return true;
		}
		if (shardInfo.getFailed() > 0) {
			for (ReplicationResponse.ShardInfo.Failure failure : shardInfo
					.getFailures()) {
				throw new Exception(failure.reason());
			}
		}
		return false;
	}


	/**
	 * 删除文档 默认doc文档
	 *
	 * @param index 索引名
	 * @param documentId 文档id
	 * @return 删除成功：true 删除失败：false
	 * @throws Exception
	 */
	public static boolean deleteDocument(String index, String documentId) throws Exception {
		return deleteDocument(index, "doc", documentId);
	}
	/**
	 * 删除文档
	 *
	 * @param index
	 * @return
	 * @throws Exception
	 */
	public static boolean deleteDocument(String index, String indexType, String documentId) throws Exception {
		DeleteRequest request = new DeleteRequest(index, indexType, documentId);
		DeleteResponse deleteResponse = restHighLevelClient.delete(request);
		if (deleteResponse.getResult() == DocWriteResponse.Result.NOT_FOUND) {
			return false;
		}
		ReplicationResponse.ShardInfo shardInfo = deleteResponse.getShardInfo();
		if (shardInfo.getTotal() != shardInfo.getSuccessful()) {
			return false;
		}
		if (shardInfo.getFailed() > 0) {
			for (ReplicationResponse.ShardInfo.Failure failure : shardInfo
					.getFailures()) {
				throw new Exception(failure.reason());
			}
		}
		return true;
	}

	/**
	 * 查找文档
	 * @param index 索引名
	 * @param type 类型
	 * @param id 文档id
	 * @throws IOException
	 */
	public static Map<String, Object> findByIdAsMap(String index, String id) {
		return findByIdAsMap(index, "doc", id);
	}

	/**
	 * 查找文档
	 * @param index 索引名
	 * @param type 类型
	 * @param id 文档id
	 * @throws IOException
	 */
	public static Map<String, Object> findByIdAsMap(String index, String type, String id) {
		Map<String, Object> map =  new HashMap();
		//查
		GetRequest getRequest = new GetRequest(index, type, id);
		GetResponse getResponse = null;
		try {
			getResponse = restHighLevelClient.get(getRequest);
			map = getResponse.getSourceAsMap();
		} catch (IOException e) {
			e.printStackTrace();
		}
		return map;
	}



	/**
	 * 验证索引是否存在
	 *
	 * @param index
	 *            索引名称
	 * @return
	 * @throws Exception
	 */
	public static boolean indexExists(String index) throws Exception {
		GetIndexRequest request = new GetIndexRequest();
		request.indices(index);
		request.local(false);
		request.humanReadable(true);

		boolean exists = restHighLevelClient.indices().exists(request);
		return exists;
	}

	/**
	 * 生成按天生成的index
	 * 生成格式如aion_trace_sys_20190701
	 * @param indexPrefix 日志index名前缀 如aion_trace_sys_
	 * @param begin 开始时间
	 * @param end 结束时间
	 * @return index list
	 */

	public static List<String> makeDayRangeIndex(String indexPrefix, long begin, long end) {
		Long oneDay = 1000 * 60 * 60 * 24L;
		Long time = begin;
		List<String> list = new ArrayList<>();
		while (time <= end) {
			Date d = new Date(time);
			String dateStr = DateFormatUtils.format(d, LOG_DATE_PATTERN);
			time += oneDay;
			list.add(indexPrefix + dateStr);
		}
		return list;
	}

	/**
	 * 创建索引 不推荐手动创建，推荐使用模板创建，参见README.md
	 * @param index
	 * @param indexType
	 * @param properties
	 *            结构: {name:{type:text}} {age:{type:integer}}
	 * @return
	 * @throws Exception
	 */
	public static boolean createIndex(String index, String indexType, Map<String, Object> properties) throws Exception {

		if (indexExists(index)) {
			return true;
		}
		CreateIndexRequest request = new CreateIndexRequest(index);
		request.settings(
				Settings.builder()
				.put("index.number_of_shards", 30)
				.put("index.number_of_replicas", 0)
		);

		Map<String, Object> jsonMap = new HashMap<>();
		Map<String, Object> mapping = new HashMap<>();
		if (null != properties) {
			mapping.put("properties", properties);
		}
		jsonMap.put(indexType, mapping);
		request.mapping(indexType, jsonMap);

		CreateIndexResponse createIndexResponse = restHighLevelClient.indices().create(
				request);
		boolean acknowledged = createIndexResponse.isAcknowledged();
		return acknowledged;
	}

	/**
	 * 删除索引
	 *
	 * @param index
	 * @return
	 * @throws Exception
	 */
	public static boolean deleteIndex(String index) throws Exception {
		try {
			DeleteIndexRequest request = new DeleteIndexRequest(index);
			DeleteIndexResponse deleteIndexResponse = restHighLevelClient.indices().delete(request);
			return deleteIndexResponse.isAcknowledged();
		} catch (ElasticsearchException exception) {
			if (exception.status() == RestStatus.NOT_FOUND) {
				return true;
			} else {
				return false;
			}
		}
	}




}

测试用例

import org.junit.Assert;
import org.junit.Test;
import org.mortbay.util.ajax.JSON;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class ESTest {

	/**
	 * 查找文档
	 */
	@Test
	public void findDocumentTest() {
		EsUtils.getClient("10.10.10.10", 9280, "admin", "password");
		Map<String, Object> map = EsUtils.findByIdAsMap("aion_log_20190829", "doc", "3ig_3WwBGY6TmRjEbkFj");
		map.entrySet().forEach(x -> System.out.println("key:" + x.getKey() + " ,value:"  + x.getValue()));
	}

	/**
	 * 创建更新文档
	 */
	@Test
	public void createDocumentByJsonTest() throws Exception {
		EsUtils.getClient("10.10.10.10", 9280, "admin", "password");
		Map<String,Object> map = new HashMap<>();
		map.put("Name", "李灿峰");
		map.put("Age", 100);
		map.put("Grade", 100.0);
		map.put("method", "createDocumentByJsonTest");
		String string = JSON.toString(map);
		System.out.println(string);
		boolean result = EsUtils.createDocument("test_2019_09_23", "doc", "testID001",string);
		Assert.assertTrue(result);
	}


	/**
	 * 创建更新文档
	 */
	@Test
	public void createDocumentByMapTest() throws Exception {
		EsUtils.getClient("10.10.10.10", 9280, "admin", "password");
		Map<String,Object> map = new HashMap<>();
		map.put("Name", "李灿峰");
		map.put("Age", 100);
		map.put("Grade", 100.0);
		map.put("method", "createDocumentByMapTest");
		boolean result = EsUtils.createDocument("test_2019_09_23", "doc", null, map);
		Assert.assertTrue(result);
	}


	/**
	 * 删除文档
	 */
	@Test
	public void deleteDocumentTest() throws Exception {
		EsUtils.getClient("10.10.10.10", 9280, "admin", "password");
		boolean result = EsUtils.deleteDocument("test_2019_09_23", "testID001");
		Assert.assertTrue(result);
	}


	/**
	 * 判断索引是否存在
	 */
	@Test
	public void indexExistsTest() throws Exception {
		EsUtils.getClient("10.10.10.10", 9280, "admin", "password");
		boolean result = EsUtils.indexExists("test_2019_09_23");
		Assert.assertTrue(result);
	}

	/**
	 * 删除索引
	 */
	@Test
	public void deleteIndexTest() throws Exception {
		EsUtils.getClient("10.10.10.10", 9280, "admin", "password");
		boolean result = EsUtils.deleteIndex("test_2019_09_23");
		Assert.assertTrue(result);
	}

	/**
	 * 创建索引
	 */
	@Test
	public void createIndexTest() throws Exception {
		EsUtils.getClient("10.10.10.10", 9280, "admin", "password");
		boolean result = EsUtils.createIndex("test_2019_09_24", "doc",null );
		Assert.assertTrue(result);
	}

	/**
	 * 索引日期
	 */
	@Test
	public void makeDayRangeIndexTest() throws Exception {
		EsUtils.getClient("10.10.10.10", 9280, "admin", "password");
		//08-22 00:00 -- 09-22 00:00
		List<String> result = EsUtils.makeDayRangeIndex("aion_log_",1566403200000L, 1569081600000L );
		result.forEach(System.out::println);
	}

}
canfengli
关注
专栏目录
Elasticsearch工具类
04-08
Elasticsearch工具类，支持通过标签注释实体类并通过工具类实现对es的映射（把po的结构导入es），和对es的增删查改，包括分页，scroll读取，关联查询等。
elasticsearch通用工具类
weixin_45985053的博客
07-19 3132
本文中使用到的elasticsearch版本6.7，但实际上也支持es7.x以上版本，因为主要是对springboot提供的ElasticsearchRestTemplate提供的API做的二次封装。外部业务模块可引入es-apijarmaven依赖，由Jar提供的入口，通过httpClient或feign调用(springcloud分布式项目)到es-server服务上的es工具类，得到需要的数据。可通过must嵌套一层解决。这几天写了一个关于es的工具类，主要封装了业务中常用es的常用方法。...
springBoot整合ES搜索引擎，以及ES工具类，ES安装包，ES安装教程
最新发布
sinat_43097407的博客
08-21 555
springBoot整合ES搜索引擎，ES工具类，java整合ES搜索引擎，ES安装包，ES安装教程
【elasticsearch】ES的JAVA工具类完整版（已完成，已测试）
Timeguys的专栏
03-08 1700
当你制作好一个java类，并且把属性的类型都规范好，这时候可直接通过该方法创建索引，如果该类中有数组类型的属性，则需要指定 nestedFields 参数的属性名，否则在插入数据后悔发现，该数组类型的es中的type不是 nested类型。solution 便是数组类型，无论List的泛型是基本类型，还是包装类型，在es中都需要指定该字段是【nested】。通过es控制台或者postman都可以进行索引操作，类型mysql可视化工具对mysql数据库表结构操作类型，只不过，不解释了，没啥好说的。
elasticsearch 工具类-java篇
qq_38730338的博客
11-19 5642
java 中关于elasticsearch的工具类编写
ElasticSearch工具类 - ESUtils
Kurumi
08-01 549
1、引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> <dependency> <groupId>org.elasticsearch.client</gro
Elasticsearch使用工具类
02-14
在实际开发中，为了方便操作Elasticsearch，开发者通常会封装一些工具类，如"ElasticsearchUtil"，以便更高效地执行常见的查询、更新、删除和创建等操作。 ### 查询数据 默认查询通常是基于索引来获取匹配的数据，...
Java操作ElasticSearch工具类【支持5.0+以上所有版本】
09-30
java操作ElasticSearch的工具类。需要添加依赖： <!-- ElasticSearch依赖 --> <groupId>io.searchbox <artifactId>jest <version>6.3.1 <!-- ...
Elasticsearch Java api 工具类
12-15
Elasticsearch Java api 工具类，包括增删改查索引，增删改查数据等代码，欢迎下载
Elasticsearch java工具类
01-18
本项目是针对Elasticsearch 5.x版本的Java工具类，旨在简化与SpringBoot集成时的开发流程，通过封装常用API和自定义注解，实现开箱即用的功能。 首先，让我们深入理解Elasticsearch的Java API。Elasticsearch提供了...
elasticsearch工具包ESUtils.java
08-10
elasticsearch搜索工具包，常用接口封装，可直接用于项目进行基于elasticsearch的搜索，分页、查询、初始化、创建索引、以及索引的增、删、改、查都封装成普通接口。
es工具类（自定义）
m0_50008952的博客
01-05 1215
public class EsUtils { /** * 查询满足条件的数据总条数 * */ public static long queryCount(RestHighLevelClient client,QueryBuilder queryBuilder,String indices){ long count =0; CountRequest countRequest = new CountRequest(); cou.
ElasticSearch查询工具类分享
Record Little
09-14 2491
当你查看es源码时 ，大部分es对象都是继承自ToXContent 对象， 而XContentBuilder 支持ToXContent 对象的自定义转换。按照json的结构，可以轻松的写出java代码 ，根据query key的名称，使用QueryBuilders 构建 , 根据aggs （aggregations 的简称） key的名称,使用AggregationBuilders构建 ， 示例如下。可以把基本的sql查询条件 转成es查询条件 ， 适当的使用的可以增加自己写es的效果。
详解ES的使用
weixin_43889339的博客
03-14 2347
序言 什么时候你会想用ES呢？大数据处理分析？离线数据分析？在线近实时查询？这些场景都指向了ES，ES的特点是大数据量查询、近实时。ES的原理是倒排索引，即按照分词，将<关键字段，记录ID>做成索引。下面我会介绍ES在Java工程的具体使用，在demo中演示插入、查询的操作： ES工具类 Service类 Test类 POM的引用 配置中心配置 基本ES操作指令 一、ES工具类 model 查询条件 查询方法 model 层 @Data @Document(indexName = "d
Java连接操作ElasticSearch工具类（含ES装了SQL插件的方式 支持5.0+6.0+）
Remember__Peng的博客
09-30 3452
import com.alibaba.fastjson.JSON; import com.pojo.es.DataSourceEs; import io.searchbox.client.JestClient; import io.searchbox.client.JestClientFactory; import io.searchbox.client.JestResult; import ...
ES工具类
hyunbar的博客
08-27 1357
1、POM依赖 <dependencies> <dependency> <groupId>io.searchbox</groupId> <artifactId>jest</artifactId> <version&...
Es工具类EsClientUtil
lockie的博客
12-10 4188
Es版本：7.3 Es配置类 EsClientBuilders，配置 RestHighLevelClient 客户端 import org.apache.http.HttpHost; import org.apache.http.client.config.RequestConfig; import org.apache.http.impl.nio.client.HttpAsyncClien...
ElasticSearchClientUtil工具类和ElasticSearchConfig配置类
a1294790347的博客
08-08 923
ElasticSearchClientUtil工具类和配置类
ElasticSearch工具类
04-16
下面是一个简单的Elasticsearch工具类的示例： ```java import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestClient; ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值