从源码中学习篇：Spring-Data-ES 同时连接多个ES集群。使JPA使用更顺畅

最新推荐文章于 2024-03-28 23:48:43 发布
最新推荐文章于 2024-03-28 23:48:43 发布
阅读量1.8k 收藏 7
点赞数 1
分类专栏： Elasticsearch 多数据源 Spring-boot 文章标签： spring boot java es elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/booynal/article/details/110259708
版权

从源码中学习篇：Spring-Data-ES 同时连接多个ES集群。使JPA使用更顺畅

一、背景

由于 spring-data-elasticsearch 中默认只能连接一个ES集群，但是业务上需要在同一个工程中连接多个ES集群。
网上搜索了有一个可以用，但那是一个第三方ES的框架，我想保持spring-data-elasticsearch的纯度，于是就想到了看源码，并从源码中学习，从而获得修改思路。

二、创建原理

spring-data-elasticsearch 靠spring的自动配置机制，当检测到配置文件中定义了 spring.data.elasticsearch.cluster-nodes 这个属性的时候，就会触发创建ES集群连接，并且自动化的创建 Repositories

三、核心类

以下类来自包org.springframework.boot:spring-boot-autoconfigure:2.0.4.RELEASE
ElasticsearchProperties负责收集配置文件中的集群配置项，顶头上指定了配置项的前缀(默认为: spring.data.elasticsearch)
ElasticsearchAutoConfiguration负责创建 TransportClient, 同时还判断是否存在配置(spring.data.elasticsearch.c1.cluster-nodes)，如果存在才创建该bean
ElasticsearchDataAutoConfiguration负责创建 ElasticsearchTemplate

以下类来自包org.springframework.data:spring-data-elasticsearch:3.0.9.RELEASE
@EnableElasticsearchRepositories负责指定扫描的包(basePackages)和 elasticsearchTemplateRef
application.properties负责配置ES集群的连接信息

四、实际代码

1、配置文件application.properties

# 集群1的配置
spring.data.elasticsearch.c1.cluster-name=es-c1
spring.data.elasticsearch.c1.cluster-nodes=127.0.0.1:9301
# 集群2的配置
spring.data.elasticsearch.c2.cluster-name=es-c2
spring.data.elasticsearch.c2.cluster-nodes=127.0.0.1:9302

2、集群1：配置类C1ElasticsearchProperties

该类拷贝自org.springframework.boot.autoconfigure.data.elasticsearch.ElasticsearchProperties
其唯一的修改为@ConfigurationProperties(prefix = "spring.data.elasticsearch.c1")，将prefix修改自定义的配置前缀即可。
代码如下：

package com.xxx.search.es;

import org.springframework.boot.context.properties.ConfigurationProperties;

import java.util.HashMap;
import java.util.Map;

/**
 * Configuration properties for Elasticsearch.
 *
 * @author Artur Konczak
 * @author Mohsin Husen
 * @since 1.1.0
 */
@ConfigurationProperties(prefix = "spring.data.elasticsearch.c1")
public class C1ElasticsearchProperties {

	/** Elasticsearch cluster name. */
	private String clusterName = "elasticsearch";
	/** Comma-separated list of cluster node addresses.	 */
	private String clusterNodes;
	/** Additional properties used to configure the client.	 */
	private Map<String, String> properties = new HashMap<>();

	public String getClusterName() {
		return this.clusterName;
	}

	public void setClusterName(String clusterName) {
		this.clusterName = clusterName;
	}

	public String getClusterNodes() {
		return this.clusterNodes;
	}

	public void setClusterNodes(String clusterNodes) {
		this.clusterNodes = clusterNodes;
	}

	public Map<String, String> getProperties() {
		return this.properties;
	}

	public void setProperties(Map<String, String> properties) {
		this.properties = properties;
	}
}

3、集群1：创建ES连接的类C1ElasticsearchAutoConfiguration

该类拷贝自org.springframework.boot.autoconfigure.data.elasticsearch.ElasticsearchAutoConfiguration
其中修改了3处：

  1. ConditionalOnProperty(prefix = "spring.data.elasticsearch.c1")
    将prefix修改自定义的配置前缀即可。
  2. 创建TransportClient的@Bean增加参数，指定了自定义的bean名称为c1TransportClient
  3. 去掉了创建TransportClient的@ConditionalOnMissingBean

代码如下：

package com.xxx.search.es;

import org.elasticsearch.client.Client;
import org.elasticsearch.client.transport.TransportClient;
import org.springframework.boot.autoconfigure.condition.ConditionalOnClass;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.elasticsearch.client.TransportClientFactoryBean;

import java.util.Properties;

@Configuration
@ConditionalOnClass({Client.class, TransportClientFactoryBean.class})
@ConditionalOnProperty(prefix = "spring.data.elasticsearch.c1", name = {"cluster-nodes"}, matchIfMissing = false)
@EnableConfigurationProperties({C1ElasticsearchProperties.class})
public class C1ElasticsearchAutoConfiguration {

    private final C1ElasticsearchProperties properties;

    public C1ElasticsearchAutoConfiguration(C1ElasticsearchProperties properties) {
        this.properties = properties;
    }

    @Bean(name = "c1TransportClient")
    public TransportClient elasticsearchClient() throws Exception {
        TransportClientFactoryBean factory = new TransportClientFactoryBean();
        factory.setClusterNodes(this.properties.getClusterNodes());
        factory.setProperties(this.createProperties());
        factory.afterPropertiesSet();
        TransportClient transportClient = factory.getObject();
        System.out.println("transportAddresses1: " + transportClient.transportAddresses());
        return transportClient;
    }

    private Properties createProperties() {
        Properties properties = new Properties();
        properties.put("cluster.name", this.properties.getClusterName());
        properties.putAll(this.properties.getProperties());
        return properties;
    }
}

4、集群1：创建模版的类C1ElasticsearchDataAutoConfiguration

该类拷贝自org.springframework.boot.autoconfigure.data.elasticsearch.ElasticsearchDataAutoConfiguration
2个修改点：

  1. 创建模版bean的方法中，@Bean增加自定义名称：c1ElasticsearchTemplate；删除@ConditionalOnMissingBean；在参数client增加注解@Qualifier("c1TransportClient")
  2. 类上增加注解@EnableElasticsearchRepositories(basePackages = "com.xxx.search.es.c1", elasticsearchTemplateRef = "c1ElasticsearchTemplate")。这里须要指定当前ES模版要扫描的包，以及使用的模版bean名称(即当前类中创建的自定义模版bean)

代码如下：

package com.xxx.search.es;

import org.elasticsearch.client.Client;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.autoconfigure.AutoConfigureAfter;
import org.springframework.boot.autoconfigure.EnableAutoConfiguration;
import org.springframework.boot.autoconfigure.condition.ConditionalOnBean;
import org.springframework.boot.autoconfigure.condition.ConditionalOnClass;
import org.springframework.boot.autoconfigure.condition.ConditionalOnMissingBean;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.elasticsearch.core.ElasticsearchTemplate;
import org.springframework.data.elasticsearch.core.convert.ElasticsearchConverter;
import org.springframework.data.elasticsearch.core.convert.MappingElasticsearchConverter;
import org.springframework.data.elasticsearch.core.mapping.SimpleElasticsearchMappingContext;
import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories;

/**
 * {@link EnableAutoConfiguration Auto-configuration} for Spring Data's Elasticsearch
 * support.
 * <p>
 * Registers an {@link ElasticsearchTemplate} if no other bean of the same type is
 * configured.
 *
 * @author Artur Konczak
 * @author Mohsin Husen
 * @see EnableElasticsearchRepositories
 * @since 1.1.0
 */
@Configuration
@ConditionalOnClass({ Client.class, ElasticsearchTemplate.class })
@AutoConfigureAfter(C1ElasticsearchAutoConfiguration.class)
@EnableElasticsearchRepositories(basePackages = "com.xxx.search.es.c1", elasticsearchTemplateRef = "c1ElasticsearchTemplate")
public class C1ElasticsearchDataAutoConfiguration {

	@Bean("c1ElasticsearchTemplate")
	@ConditionalOnBean(Client.class)
	public ElasticsearchTemplate elasticsearchTemplate(
			@Qualifier("c1TransportClient") Client client,
			ElasticsearchConverter converter) {
		try {
			return new ElasticsearchTemplate(client, converter);
		}
		catch (Exception ex) {
			throw new IllegalStateException(ex);
		}
	}

	@Bean
	@ConditionalOnMissingBean
	public ElasticsearchConverter elasticsearchConverter(SimpleElasticsearchMappingContext mappingContext) {
		return new MappingElasticsearchConverter(mappingContext);
	}

	@Bean
	@ConditionalOnMissingBean
	public SimpleElasticsearchMappingContext mappingContext() {
		return new SimpleElasticsearchMappingContext();
	}

}

5、集群2：配置类: C2ElasticsearchProperties

修改内容同集群1，代码如下：

package com.xxx.search.es;

import org.springframework.boot.context.properties.ConfigurationProperties;

import java.util.HashMap;
import java.util.Map;

/**
 * Configuration properties for Elasticsearch.
 *
 * @author Artur Konczak
 * @author Mohsin Husen
 * @since 1.1.0
 */
@ConfigurationProperties(prefix = "spring.data.elasticsearch.c2")
public class C2ElasticsearchProperties {

	/** Elasticsearch cluster name.	 */
	private String clusterName = "elasticsearch";

	/** Comma-separated list of cluster node addresses.	 */
	private String clusterNodes;

	/**Additional properties used to configure the client.	 */
	private Map<String, String> properties = new HashMap<>();

	public String getClusterName() {
		return this.clusterName;
	}

	public void setClusterName(String clusterName) {
		this.clusterName = clusterName;
	}

	public String getClusterNodes() {
		return this.clusterNodes;
	}

	public void setClusterNodes(String clusterNodes) {
		this.clusterNodes = clusterNodes;
	}

	public Map<String, String> getProperties() {
		return this.properties;
	}

	public void setProperties(Map<String, String> properties) {
		this.properties = properties;
	}
}

6、集群2：创建ES连接的类: C2ElasticsearchAutoConfiguration

修改内容同集群1，代码如下：

package com.xxx.search.es;

import org.elasticsearch.client.Client;
import org.elasticsearch.client.transport.TransportClient;
import org.springframework.boot.autoconfigure.condition.ConditionalOnClass;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.elasticsearch.client.TransportClientFactoryBean;

import java.util.Properties;

@Configuration
@ConditionalOnClass({Client.class, TransportClientFactoryBean.class})
@ConditionalOnProperty(prefix = "spring.data.elasticsearch.c2", name = {"cluster-nodes"}, matchIfMissing = false)
@EnableConfigurationProperties({C2ElasticsearchProperties.class})
public class C2ElasticsearchAutoConfiguration {

    private final C2ElasticsearchProperties properties;

    public C2ElasticsearchAutoConfiguration(C2ElasticsearchProperties properties) {
        this.properties = properties;
    }

    @Bean(name = "c2TransportClient")
    public TransportClient elasticsearchClient() throws Exception {
        TransportClientFactoryBean factory = new TransportClientFactoryBean();
        factory.setClusterNodes(this.properties.getClusterNodes());
        factory.setProperties(this.createProperties());
        factory.afterPropertiesSet();
        TransportClient transportClient = factory.getObject();
        System.out.println("transportAddresses2: " + transportClient.transportAddresses());
        return transportClient;
    }

    private Properties createProperties() {
        Properties properties = new Properties();
        properties.put("cluster.name", this.properties.getClusterName());
        properties.putAll(this.properties.getProperties());
        return properties;
    }
}

7、集群2：创建模板的类: C2ElasticsearchDataAutoConfiguration

修改内容同集群1，代码如下：

package com.xxx.search.es;

import org.elasticsearch.client.Client;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.autoconfigure.AutoConfigureAfter;
import org.springframework.boot.autoconfigure.EnableAutoConfiguration;
import org.springframework.boot.autoconfigure.condition.ConditionalOnBean;
import org.springframework.boot.autoconfigure.condition.ConditionalOnClass;
import org.springframework.boot.autoconfigure.condition.ConditionalOnMissingBean;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.elasticsearch.core.ElasticsearchTemplate;
import org.springframework.data.elasticsearch.core.convert.ElasticsearchConverter;
import org.springframework.data.elasticsearch.core.convert.MappingElasticsearchConverter;
import org.springframework.data.elasticsearch.core.mapping.SimpleElasticsearchMappingContext;
import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories;

/**
 * {@link EnableAutoConfiguration Auto-configuration} for Spring Data's Elasticsearch
 * support.
 * <p>
 * Registers an {@link ElasticsearchTemplate} if no other bean of the same type is
 * configured.
 *
 * @author Artur Konczak
 * @author Mohsin Husen
 * @see EnableElasticsearchRepositories
 * @since 1.1.0
 */
@Configuration
@ConditionalOnClass({ Client.class, ElasticsearchTemplate.class })
@AutoConfigureAfter(C2ElasticsearchAutoConfiguration.class)
@EnableElasticsearchRepositories(basePackages = "com.xxx.search.es.c2", elasticsearchTemplateRef = "c2ElasticsearchTemplate")
public class C2ElasticsearchDataAutoConfiguration {

	@Bean("c2ElasticsearchTemplate")
	@ConditionalOnBean(Client.class)
	public ElasticsearchTemplate elasticsearchTemplate(
			@Qualifier("c2TransportClient") Client client,
			ElasticsearchConverter converter) {
		try {
			return new ElasticsearchTemplate(client, converter);
		}
		catch (Exception ex) {
			throw new IllegalStateException(ex);
		}
	}

	@Bean
	@ConditionalOnMissingBean
	public ElasticsearchConverter elasticsearchConverter(SimpleElasticsearchMappingContext mappingContext) {
		return new MappingElasticsearchConverter(mappingContext);
	}

	@Bean
	@ConditionalOnMissingBean
	public SimpleElasticsearchMappingContext mappingContext() {
		return new SimpleElasticsearchMappingContext();
	}
}
booynal
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Springboot 接入ES启动时候自检报错
a1472750149的博客
10-27 1428
一.背景 最近在做一个项目，需要接入2个ES集群，于是我初始化了2个RestHighLevelClient实例esClient和esClient1 package com.xxx.common.config; import org.apache.http.HttpHost; import org.apache.http.auth.AuthScope; import org.apache.http.auth.UsernamePasswordCredentials; import org.apach
Spring Boot中使用Spring-data-jpa的配置方法详解
08-26
今天小编就为大家分享一篇关于Spring Boot中使用Spring-data-jpa的配置方法详解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
spring-data-jpa-entity-graph:Spring Data JPA扩展允许在存储库上完全动态使用EntityGraph
05-06
Spring Data JPA实体图 没有spring-data-jpa-entity-graph的生活 仅通过注释支持EntityGraph。 因此，对于存储库方法，必须在编译之前最多选择一个EntityGraph。 这样可以避免您在考虑运行时上下文的情况下选择最佳的EntityGraph :broken_heart: Spring Data JPA实体图的生活 感谢 ，您可以在运行时选择EntityGraph！ 通过将EntityGraph作为参数传递给任何Spring Data JPA存储库方法，可以优雅地做出此选择。 :smiling_face_with_heart-eyes: // This will apply 'Product.brand' named EntityGraph to findByLabel productRepository . findByLabel( " foo " , EntityGraphs . named( " Product
spring-data-jpa-2.0.9.RELEASE-API文档-中文版.zip
06-25
赠送jar包：spring-data-jpa-2.0.9.RELEASE.jar； 赠送原API文档：spring-data-jpa-2.0.9.RELEASE-javadoc.jar； 赠送源代码：spring-data-jpa-2.0.9.RELEASE-sources.jar； 赠送Maven依赖信息文件：spring-data-jpa-2.0.9.RELEASE.pom； 包含翻译后的API文档：spring-data-jpa-2.0.9.RELEASE-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.springframework.data:spring-data-jpa:2.0.9.RELEASE； 标签：springframework、data、spring、jpa、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
springdata框架对es集成
最新发布
m0_71017987的博客
03-28 1244
Spring Data是一个用于简化数据库、非关系型数据库、索引库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持 map-reduce框架和云计算数据服务。Spring Data可以极大的简化JPA(Elasticsearch…)的写法，可以在几乎不用写实现的情况下，实现对数据的访问和操作。除了CRUD 外，还包括如分页、排序等一些常用的功能。
Spring Boot整合ElasticSearch单/多集群案例
Bboss 每天进步一点点
07-07 4443
Spring Boot整合ElasticSearch单个集群和多个集群案例分享，本文涉及内容： [list] [*]导入spring boot elasticsearch starter [*]单个es集群案例 [*]多个es集群案例 [/list] 本文内容适合于: [list] [*]spring boot 1.x,2.x [*]elasticsearch 1.x,2.x,5...
SpringBoot 配置多个 Elasticsearch 集群
一线大码
08-21 4012
SpringBoot 项目 首先在 pom.xml 中添加 ES 客户端依赖，这里 SpringBoot 使用的是 2.5.3 版本，默认会引入 ES 7.12.1 版本客户端，所以这里没有写版本号： <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId&gt
Elastic实战：spring-data-elasticsearch聚合查询指南｜spring-data-elasticsearch实现各类聚合
55555的博客
05-31 5335
0.引言 elasticsearch支持各种类型的聚合查询，给我们做数据统计、数据分析时提供了强大的处理能力，但是作为java开发者，如何在java client中实现这些聚合呢？ 我们知道spring-data-elasticsearch提供了针对整合spring的es java client，但是在elastic、spring-data官方文档中都没有详细说明聚合查询在java client中如何实现。 所以本期，我们的目标就是一篇将这些聚合操作一网打尽！ 为了更好的将这些聚合讲解清楚，我们结合es官方
Spring Boot中Elasticsearch的连接配置、原理与使用
徐师兄的博客
07-01 4014
Elasticsearch是一种开源的分布式搜索和数据分析引擎，它可用于全文搜索、结构化搜索、分析等应用场景。在Spring Boot中，我们可以通过Elasticsearch实现对数据的搜索和分析。本文将介绍Spring Boot中Elasticsearch的连接配置、原理和使用方法。
聊聊springboot elasticsearch autoconfigure
weixin_34419321的博客
04-17 1402
序 本文主要研究一下springboot elasticsearch autoconfigure ElasticsearchAutoConfiguration spring-boot-autoconfigure-2.1.4.RELEASE-sources.jar!/org/springframework/boot/autoconfigure/data/elasticsearch/Elasticse...
SpringBoot @ConfigurationProperties作用及属性讲解
Brucelwl的博客
08-03 6373
本文主要讲解``@ConfigurationProperties``注解中的几个属性作用. 及两种使用方式： 1. 使用在类上 2. 使用在方法上
springboot集成spring-data-elasticsearch 完成对es的操作
ratel的博客
01-17 6485
springboot工程集成spring-data-elasticsearch 完成对的es的操作
spring-data-jpa-rest:spring-data-jpa和spring-data-rest的实践
05-24
准备一个名为“ spring-data-jpa-with-rest”的mysql数据库（可以根据需要命名） 配置 更改配置 src \ main \ resources \ db.properties 更改jdbc.driver，jdbc.url，jdbc.username，jdbc.password 跑步 运行此...
spring-data-jpa-example:Spring Data JPA 示例
06-22
spring-data-jpa-example 使用 spring 数据 JPA 的简单应用程序示例。安装指南安装 Java jdk 1.8 安装 Maven 3.x 设置环境变量 JAVA_HOME 设置环境变量 MAVEN_HOME 将 JAVA_HOME\bin 和 MAVEN_HOME\bin 放在环境变量...
SpringBoot(十六)——————ElasticSearch 、SpringBoot整合ElasticSearch
不积跬步无以至千里
03-12 2286
ElasticSearch官方文档：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache...
Spring Boot 集成 Elasticsearch
攻城狮·正
02-05 776
Elasticsearch (简称ES) 是一个基于 Lucene 的分布式、高扩展、高实时的搜索与数据分析引擎。本章介绍 Spring Boot 应用集成 Elasticsearch ，通过 Spring 封装的API访问 Elasticsearch 。 Spring Data Elasticsearch 是 Spring Data 子项目，提供对 Elasticsearch 集成与访问的支持。需要注意的是 Spring Data Elasticsearch 版本 3.2.x 与 4.x 不兼容，在升级
Elastic连接SpringData
qq_19663899的博客
02-07 1041
spring data 对很多nosql以及sql提供了统一的操作 spring data elastic 添加依赖 &lt;dependency&gt; &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt; &lt;artifactId&gt;spring-boot-starter-data-elasticse...
ElasticSearch用springData的简化写法
Hpeacheng的博客
12-10 1841
【1】jar包配置 <properties> <maven.compiler.source>1.9</maven.compiler.source> <maven.compiler.target>1.9</maven.compiler.target> </properties> <dependencies> <dependency>
springboot-ES多数据源链接\Spring-Data-ES 连接多个ES集群
一个BUG的博客
02-27 2118
springboot 链接ES 多数据源 spring-data || elasticsearch
org.springframework.boot:spring-boot-starter-data jpa:2.3.12.
08-22
具体来说，"org.springframework.boot:spring-boot-starter-data-jpa" 是一个 Maven 坐标，它表示你希望在你的项目中使用 Spring Boot 的 JPA（Java Persistence API）功能。 JPA 是一种 Java 编程语言标准，用于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值