springboot下集成spring-data-elasticsearch和RestHighLevelClient

已于 2023-12-22 14:36:24 修改
阅读量657 收藏 10
点赞数 6
文章标签： spring spring boot elasticsearch
于 2023-12-14 17:35:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42275243/article/details/135000239
版权

1、添加依赖

  <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
            <version>2.1.17.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>6.8.13</version>
        </dependency>

2、配置文件

spring.elasticsearch.rest.uris = 10.53.10.88:9200
spring.elasticsearch.rest.username = fmapp
spring.elasticsearch.rest.password = 9usdW95nB0CK2mjs

3、代码

package com.freemud.unify.shops.manager;

import com.alibaba.fastjson.JSON;
import com.freemud.unify.shops.entity.ProductOperatorLog;
import com.freemud.unify.shops.entity.ProductOperatorLogQuery;
import com.freemud.unify.shops.entity.ProductOperatorLogResponse;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang.StringUtils;
import org.apache.commons.lang.exception.ExceptionUtils;
import org.elasticsearch.action.ActionListener;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.delete.DeleteRequest;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchScrollRequest;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.RangeQueryBuilder;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.sort.SortOrder;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.io.IOException;
import java.time.LocalDateTime;
import java.time.ZoneId;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.Objects;

@Slf4j
@Service
public class ProductOperatorLogManager {

    private static final String PRODUCT_OPERATOR_LOG_INDEX = "product-operator-log-";
    private static final String DEFAULT_TYPE = "_doc";

    @Autowired
    private RestHighLevelClient restHighLevelClient;

    /**
     * 异步批量新增
     * @param List
     */
    public void bulkAsync(List<ProductOperatorLog> List){
        BulkRequest request = new BulkRequest();
        List.forEach(create->{
            LocalDateTime localDateTime = LocalDateTime.ofInstant(create.getCreateTime().toInstant()
                    , ZoneId.systemDefault());
            request.add(new IndexRequest().index(PRODUCT_OPERATOR_LOG_INDEX + localDateTime.getYear() + "-" +localDateTime.getMonthValue()).type(DEFAULT_TYPE)
                    .source(JSON.toJSONString(create), XContentType.JSON));
        });

        restHighLevelClient.bulkAsync(request, RequestOptions.DEFAULT,new ActionListener<BulkResponse>() {
            @Override
            public void onResponse(BulkResponse bulkResponse) {
                log.info("bulklistener_onResponse count:"+bulkResponse.getItems().length);
            }

            @Override
            public void onFailure(Exception e) {
                log.error("bulklistener_onFailure body{} e{}",request.requests(), ExceptionUtils.getFullStackTrace(e));
            }
        });
    }

    /**
     * 根据id删除数据
     */
    public void delete(){
        DeleteRequest request = new DeleteRequest();
        request.id("-bkcZowBWbbjdR2AHHsG");
        request.index("product-operator-log-2023-12");
        request.type(DEFAULT_TYPE);
        try {
            restHighLevelClient.delete(request, RequestOptions.DEFAULT);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }
    /**
     * 删除索引
     */
    public void deleteIndex(){
        DeleteIndexRequest request = new DeleteIndexRequest("product-operator-log-2023-12");
        try {
            restHighLevelClient.indices().delete(request,RequestOptions.DEFAULT);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }
    /**
     * 根据条件查询
     *
     * @param queryDto
     * @return
     */
    public ProductOperatorLogResponse queryByConditions(ProductOperatorLogQuery queryDto) {
        ProductOperatorLogResponse operatorLogResponse = new ProductOperatorLogResponse();
        List<ProductOperatorLog> result = new ArrayList<>();

        SearchResponse response= queryElasticsearch(queryDto);

        if(response != null && response.getHits() != null){
            Iterator<SearchHit> hitIterator = response.getHits().iterator();
            while (hitIterator.hasNext()) {
                result.add(JSON.parseObject(hitIterator.next().getSourceAsString(), ProductOperatorLog.class));
            }
            operatorLogResponse.setScrollId(response.getScrollId());
            operatorLogResponse.setResult(result);
            operatorLogResponse.setTotalNum(response.getHits().getTotalHits());
        }

        return operatorLogResponse;
    }

    private SearchResponse queryElasticsearch(ProductOperatorLogQuery queryDto){

        BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
        if (StringUtils.isNotBlank(queryDto.getPartnerId())) {
            boolQueryBuilder.must(QueryBuilders.termQuery("partnerId", queryDto.getPartnerId()));
        }
        if (StringUtils.isNotBlank(queryDto.getProductId())) {
            boolQueryBuilder.must(QueryBuilders.termQuery("productId", queryDto.getProductId()));
        }
        //如果skuId是text类，防止被分词查不出来，可以用skuId.keyword查询
        if (StringUtils.isNotBlank(queryDto.getSkuId())) {
            boolQueryBuilder.must(QueryBuilders.termQuery("skuId.keyword", queryDto.getSkuId()));
        }
        if(queryDto.getCreateStartTime() != null || queryDto.getCreateEndTime() != null){
            RangeQueryBuilder rangeQueryBuilder = QueryBuilders.rangeQuery("createTime");
            if (queryDto.getCreateStartTime() != null) {
                rangeQueryBuilder.from(queryDto.getCreateStartTime().getTime());
            }
            if (queryDto.getCreateEndTime() != null) {
                rangeQueryBuilder.to(queryDto.getCreateEndTime().getTime());
            }
            boolQueryBuilder.must(rangeQueryBuilder);
        }
        //通配符查询，类似于like查询
        if (StringUtils.isNotBlank(queryDto.getProductName())) {
            boolQueryBuilder.must(QueryBuilders.wildcardQuery("productName", "*"+queryDto.getProductName()+"*"));
        }

        SearchRequest request = new SearchRequest(PRODUCT_OPERATOR_LOG_INDEX + "*");

        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

        if(Objects.equals(queryDto.getType(),Boolean.TRUE)){
            request.scroll(TimeValue.timeValueSeconds(120));
        }else{
            //检索超过10000 ES会报错,这里只返回数量
            if (queryDto.getPageNum() * queryDto.getPageSize() > 10000) {
                queryDto.setPageNum(1);
                queryDto.setPageSize(0);
            }
            sourceBuilder.from((queryDto.getPageNum() - 1) * queryDto.getPageSize());
        }
        sourceBuilder.sort("createTime", SortOrder.DESC);
        sourceBuilder.size(queryDto.getPageSize());

        request.source(sourceBuilder.query(boolQueryBuilder));
        SearchResponse response=null;
        try {
            response = restHighLevelClient.search(request,RequestOptions.DEFAULT);
        } catch (Exception e) {
            log.error("查询es异常 request{} e{}",queryDto, ExceptionUtils.getFullStackTrace(e));
        }
        return response;
    }

    /**
     * 滚动查询
     * @param scrollId
     * @return
     */
    public SearchResponse scrollSearch(String scrollId) {
        SearchResponse response=null;
        SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId);
        scrollRequest.scroll(TimeValue.timeValueSeconds(120));
        try {
            response = restHighLevelClient.scroll(scrollRequest,RequestOptions.DEFAULT);
        } catch (Exception e) {
            log.error("查询es异常 request{} e{}",scrollId, ExceptionUtils.getFullStackTrace(e));
        }
        return response;
    }
}

花落无痕遍地伤
关注
  • 6
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch---spring-boot-starter-data-elasticsearch整合攻略详解
qq_46416934的博客
07-29 9152
首先要确保自己引入的spring-boot-starter-data-elasticsearch版本与elasticsearch一直，通常情况下会遇到使用了如，spring-boot-dependencies，parent等版本依赖管理导致es版本不对应的情况。
ES客户端（RestHighLevelClient、SpringDataElasticsearch 框架）使用指南
墨鸦的博客
11-01 1万+
ES客户端（RestHighLevelClient、SpringDataElasticsearch 框架）使用指南
springboot项目集成Elasticsearch写入数据库数据
最新发布
weixin_40538248的博客
05-21 420
【代码】springboot项目集成Elasticsearch写入数据库数据。
Spring 整合 Elasticsearch
GrayGo的博客
03-12 1367
Spring 项目中专门有链接ES的，可以方便快速的链接ES。官方文档一般都会有版本对照的说明同时也提供了更为方便的“Spring Boot Starter Data Elasticsearch”。在这里我们使用的是“Spring Boot Starter Data Elasticsearch » 2.6.15” 这里要注意结合自己项目版本选择正确的“Spring Boot Starter Data Elasticsearch“版本引入到项目即可</</</</
完整教程：spring-boot-starter-data-elasticsearch整合elasticsearch 6.x
热门推荐
程裕强的专栏
01-09 10万+
1、前言 网上很多言论： 新版本的SpringBoot 2的spring-boot-starter-data-elasticsearch中支持的Elasticsearch版本是2.X， 但Elasticsearch实际上已经发展到6.5.X版本了，为了更好的使用Elasticsearch的新特性， 所以弃用了spring-boot-starter-data-elasticsearch依赖，而改为直...
SpringBoot集成Elasticsearch
天天向上
02-19 1863
SpringBoot中集成Elasticsearch，分页搜索，高亮显示，常用DSL。
springboot-elasticsearch-master.rar
05-06
在项目中，"springboot-elasticsearch-master"的实现主要依赖于Spring Data Elasticsearch库，这是一个Spring Data模块，它提供了对Elasticsearch的集成，包括对Elasticsearch的操作接口和实体映射功能。通过这个库...
springboot - 2.7.3版本 - （六）学习如何使用Elasticsearch-8.4.2
09-29
在本教程中，我们将深入探讨如何在SpringBoot 2.7.3版本中集成并使用Elasticsearch 8.4.2，这是一个强大的开源搜索引擎和数据分析工具。Elasticsearch以其分布式、实时、可扩展的特性而闻名，广泛应用于日志分析、...
SpringBoot整合Elasticsearch7.2.0的实现方法
08-25
为了更好地使用 Elasticsearch 的新特性，我们弃用了 spring-boot-starter-data-elasticsearch 依赖，而改为直接使用 Spring-data-elasticsearch，以便启用对新版本支持。 在 Elasticsearch 中，有两种连接方式：...
springboot 整合es-springboot-es.zip
11-07
在本项目中，"springboot 整合es-springboot-es.zip" 提供了一个整合Spring Boot与Elasticsearch（ES）的应用示例。Spring Boot是一个流行的Java框架，用于简化Spring应用的开发，而Elasticsearch则是一个分布式、...
【springboot-集成篇】springboot整合ElasticSearch的两种方式（非连接池，附源码）
01-09
首先，我们需要在`pom.xml`或`build.gradle`中添加Spring Data Elasticsearch和Elasticsearch的依赖。例如，在Maven项目中： ```xml <groupId>org.springframework.boot <artifactId>spring-boot-starter-data-...
SpringBoot进阶-集成ElasticSearch(二)
Cloud的专栏
08-18 1719
集成ES,我们使用spring-data-es模块，这块API改动挺大的，以前的方法很多都过时了，我现在使用的spring-boot版本是2.3.2 第一步,添加依赖 <!-- ElasticSearch支持 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearc
Elasticsearch 4. Spring Boot整合Elasticsearch
CSDN已弃用
06-09 1745
Spring Boot整合elasticsearch 目前常用的Spring Boot整合elasticsearch的java客户端有： spring-boot-starter-data-elasticsearch 官方文档：https://docs.spring.io/spring-data/elasticsearch/docs/4.2.1/reference/html/#preface Java High Level REST Client 官方文档：https://www.elastic.co
SpringBoot使用elasticsearch-rest-high-level-client操作ElasticSearch
程序员劝退师的博客
08-22 4477
前言 老早之前写过一篇SpringBoot操作ElasticSearch的文章，但是内容过于简单，只是简单交代了下，为了更好的学习ElasticSearch这个搜索引擎，那么在更一篇贴，本文中使用的ElasticSearch为7.4.2，注意哦！那么elasticsearch-rest-high-level-client使用的也是同样的版本！这篇文章可以理解为是SpringBoot整合Elasticsearch的续集，可以先照着上文先把之前的代码准备下！ 索引操作 创建索引 @Test vo
springboot2 + es7 使用RestHighLevelClient
yzh_1346983557的博客
02-15 7301
一、引入依赖jar <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> 二、application.properties配置 spr
Springboot整合Elasticsearch(High-level-Client)
bigsai
03-29 1万+
前言 通过学习Elasticsearch一小段时间来稍微认识了一点ES的体系架构。发现ES最大的坑就是版本兼容性问题了—在整合Springboot也不例外，但是，有一种方式能较好的解决—通过restclient。 项目github地址springboot_elasticsearch求star 内容 当前springboot整合ElasticSearch的方法主体分为2大种——restcl...
SpringBoot整合Elasticsearch(最新最全，高效安装到使用)
whatevery的博客
08-02 1万+
在node安装路径下，使用命令安装：npm install -g grunt-cli 安装grunt。为了避免使用的Elasticsearch版本和SpringBoot采用的版本不一致导致的问题，尽量使用一致的版本。安装过程结束后，在dos窗口查看是否安装成功，使用命令：node -v，出现如下截图，则说明安装成功。es5以上就需要安装node和grunt，所以安装head插件的前提，是需要把该两项配置好。-version查看是否安装成功，出现如下截图，说明安装成功。下载对应环境的node版本安装即可。
springboot集成ElasticSearch使用RestHighLevelClient连接客户端
weixin_44907173的博客
11-12 2437
ES查询结构图 1.pom依赖引用 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>7.6.2</version>
SpringBoot集成带有用户名密码的Elasticsearch6.3.2版本
07-13
要在Spring Boot中集成带有用户名密码的Elasticsearch 6.3.2版本，你可以按照以下步骤进行操作： 1. 首先，将Elasticsearch 6.3.2版本的依赖项添加到你的Spring Boot项目的pom.xml文件中： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> ``` 2. 在application.properties（或application.yml）文件中配置Elasticsearch连接属性和身份验证信息。示例配置如下： ```properties spring.data.elasticsearch.cluster-nodes=localhost:9300 spring.data.elasticsearch.cluster-name=my-cluster spring.data.elasticsearch.properties.transport.tcp.port=9300 spring.data.elasticsearch.properties.transport.tcp.compress=true spring.data.elasticsearch.properties.transport.tcp.connect_timeout=5s spring.data.elasticsearch.properties.transport.tcp.socket_timeout=5s spring.data.elasticsearch.properties.transport.tcp.keep_alive=true spring.data.elasticsearch.properties.transport.tcp.no_delay=true spring.data.elasticsearch.properties.transport.tcp.send_buffer_size=1mb spring.data.elasticsearch.properties.transport.tcp.receive_buffer_size=1mb spring.data.elasticsearch.properties.transport.tcp.keep_alive_interval=30s # 身份验证相关配置 spring.data.elasticsearch.properties.transport.tcp.username=my-username spring.data.elasticsearch.properties.transport.tcp.password=my-password ``` 3. 创建一个Elasticsearch配置类，用于创建Elasticsearch客户端的bean，并设置身份验证信息。示例代码如下： ```java import org.apache.http.HttpHost; import org.elasticsearch.client.RestClient; import org.elasticsearch.client.RestHighLevelClient; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.data.elasticsearch.config.AbstractElasticsearchConfiguration; import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories; @Configuration @EnableElasticsearchRepositories(basePackages = "com.example.repository") public class ElasticsearchConfig extends AbstractElasticsearchConfiguration { @Value("${spring.data.elasticsearch.cluster-nodes}") private String clusterNodes; @Value("${spring.data.elasticsearch.cluster-name}") private String clusterName; @Value("${spring.data.elasticsearch.properties.transport.tcp.username}") private String username; @Value("${spring.data.elasticsearch.properties.transport.tcp.password}") private String password; @Override public RestHighLevelClient elasticsearchClient() { final ClientConfiguration clientConfiguration = ClientConfiguration.builder() .connectedTo(clusterNodes) .withBasicAuth(username, password) .build(); return RestClients.create(clientConfiguration).rest(); } } ``` 在上面的示例中，我们使用了`RestHighLevelClient`来创建一个Elasticsearch客户端，并设置了身份验证信息。 4. 创建一个Elasticsearch存储库接口，用于定义与Elasticsearch的交互操作。示例代码如下： ```java import org.springframework.data.elasticsearch.repository.ElasticsearchRepository; import org.springframework.stereotype.Repository; @Repository public interface MyElasticsearchRepository extends ElasticsearchRepository<YourEntity, String> { // 自定义查询方法 } ``` 请将`YourEntity`替换为你的实体类。 现在，你已经完成了Spring Boot与带有用户名密码的Elasticsearch 6.3.2版本的集成。你可以使用自动注入的Elasticsearch存储库接口来执行与Elasticsearch的数据交互操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值