Elasticsearch查询配置(Elasticsearch+springboot)

最新推荐文章于 2024-08-28 17:57:53 发布
最新推荐文章于 2024-08-28 17:57:53 发布
阅读量9.7k 收藏 8
点赞数
文章标签： elasticsearch 数据 分页 java maven
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhe1110/article/details/56675531
版权

这段代码的功能是查询出es里面的数据进行分页展示,使用的jar版本为2.4


大概流程

添加maven依赖

        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>2.4.0</version>
        </dependency>

properties属性文件配置

spring.elasticsearch.host=192.168.101.123
spring.elasticsearch.port=9300

spring的配置文件,初始化TransportClient 对象

package com.unioncast.ssp.front.config;

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.PropertySource;

import java.net.InetAddress;
import java.net.UnknownHostException;

/**
 * ElasticsearchConfig
 *
 * @author zhangzhe
 * @date 2017/2/21 16:33
 */
@Configuration
@PropertySource(value = "classpath:/elasticsearch.properties")
public class ElasticsearchConfig {

    @Value("${spring.elasticsearch.host}")
    private String host;
    @Value("${spring.elasticsearch.port}")
    private int port;

    private static final Logger LOG = LogManager.getLogger(ElasticsearchConfig.class);

    @Bean
    public TransportClient elasticsearchClient(){	//向spring注入es的客户端操作对象
        TransportClient transportClient = null;

        Settings settings = Settings.settingsBuilder()
                .put("cluster.name", "bigData-cluster").build();
        try {
            transportClient = TransportClient
                    .builder()
                    .settings(settings)
                    .build()
                    .addTransportAddress(
                            new InetSocketTransportAddress(InetAddress.getByName(host), port)
                    );
        } catch (UnknownHostException e) {
            LOG.error("创建elasticsearch客户端失败");
        }
        LOG.info("创建elasticsearch客户端成功");

        return transportClient;

    }

}


对数据进行查询操作的实现类

package com.unioncast.ssp.front.service.ssp.elasticsearchData;

import com.unioncast.common.page.Pagination;
import com.unioncast.common.restClient.RestResponse;
import com.unioncast.common.ssp.model.SspAdvertiser;
import com.unioncast.common.ssp.model.SspCreative;
import com.unioncast.ssp.front.service.ssp.SspAdvertiserService;
import com.unioncast.ssp.front.service.ssp.SspCreativeService;
import com.unioncast.ssp.front.service.ssp.SspOrderService;
import com.unioncast.ssp.front.service.ssp.SspPlanService;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchType;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.sort.SortOrder;
import org.springframework.stereotype.Component;

import javax.annotation.Resource;
import java.net.UnknownHostException;
import java.util.*;

/**
 * @author zhangzhe
 * @date 2017/2/21 10:25
 */


@Component
public class ElasticsearchADReportImpl implements ElasticsearchADReport {

    private static final Logger LOG = LogManager.getLogger(ElasticsearchADReportImpl.class);

    private static final String INDEX = "hehe";		//es的索引表名称
    private static final String TYPE = "kafka_type";	//es的索引类型
    private static final Integer PAGESIZE = 10;		//分页的每页显示数
    private static final String ESC = "ip";		//用于排序的字段
    @Resource
    TransportClient transportClient;		//注入es操作对象

    @Resource
    SspAdvertiserService sspAdvertiserService;

    @Resource
    SspOrderService sspOrderService;

    @Resource
    SspPlanService sspPlanService;

    @Resource
    SspCreativeService sspCreativeService;

    //es查询
    public Pagination<Map<String, Object>> esADReport(Long accountId, Long advertiserId, Long orderId, Long planId, Long creativeId,
                                                      Integer currentPageNo, String startTime, String endTime)
            throws UnknownHostException {

        List<Map<String, Object>> list = new ArrayList<>();
        Integer totalCount = 0;

        QueryBuilder query = QueryBuilders.boolQuery();

        //用户ID	这里的matchPhraseQuery代表精确查询,同样使用matchQuery也可以,matchPhrasePrefixQuery代表的是模糊查询
        if (accountId != null) {
            query = QueryBuilders.boolQuery()
                    .must(QueryBuilders.matchPhraseQuery("accountId", accountId));		

        }

        //广告主ID
        if (advertiserId != null) {
            query = QueryBuilders.boolQuery()
                    .must(QueryBuilders.matchPhraseQuery("advertiserId", advertiserId));

        }

        //订单ID
        if (orderId != null) {
            query = QueryBuilders.boolQuery()
                    .must(QueryBuilders.matchPhraseQuery("orderId", orderId));

        }

        //计划ID
        if (planId != null) {
            query = QueryBuilders.boolQuery()
                    .must(QueryBuilders.matchPhraseQuery("planId", planId));

        }

        //创意ID
        if (creativeId != null) {
            query = QueryBuilders.boolQuery()
                    .must(QueryBuilders.matchPhraseQuery("creativeId", creativeId));

        }

        //总数
/*        SearchResponse rsTotal = transportClient.prepareSearch(INDEX).setTypes(TYPE)
                .setSearchType(SearchType.DFS_QUERY_AND_FETCH)
                .setQuery(query)
                .addSort(ESC, SortOrder.DESC)
                .setExplain(true).execute().actionGet();
        if (rsTotal != null && rsTotal.getHits().getHits().length != 0) {
            totalCount = (int) rsTotal.getHits().getTotalHits();
//            System.out.println("totalHits: "+totalHits);
//            totalCount=rsTotal.getHits().getHits().length;
//            System.out.println("totalCount: "+totalCount);
        }*/


        //搜索	这里的.setSearchType属性代表索引的查询方式,几种方式的区别我写在末尾
        int pageIndex = (currentPageNo - 1) * PAGESIZE;
        SearchResponse rs = transportClient.prepareSearch(INDEX).setTypes(TYPE)	
                .setSearchType(SearchType.DFS_QUERY_THEN_FETCH)		//这里非常重要,当初就是因为类型填写错误,导致查询出超出预计结果的数据
                .setQuery(query)				//查询条件
                .addSort(ESC, SortOrder.DESC)	//排序,DESC为倒序
                .setFrom(pageIndex).setSize(PAGESIZE)		//数据的索引(从0开始)和查询条数
                .setExplain(true).execute().actionGet();


        // 遍历查询结果
        if (rs != null && rs.getHits().getHits().length != 0) {
            totalCount = (int) rs.getHits().getTotalHits();		//这一段可以获取结果的总数,对应的是分页类的总页数
            SearchHit[] hits = rs.getHits().getHits();			//这个就是es查询出的结果,设置的是从索引开始查询10条
            //List<SearchHit> page = page(currentPageNo, PAGESIZE, hits);
            for (SearchHit hit : hits) {
                Map<String, Object> source = hit.getSource();	//这个方法使查出的数据表现为map格式,同样也可以得到string类型的json数据

                //针对id做出的查询
                Map<String, Object> map = new HashMap();	//一下是根据es里面存放的id,向数据库查询name值用于展示

                Long sspAdvertiserId = (Long) source.get("sspAdvertiserId");
                if (sspAdvertiserId != null) {
                    String sspAdvertiserName = findSspAdvertiserName(sspAdvertiserId);
                    map.put("sspAdvertiserName", sspAdvertiserName);
                }

                Long sspOrderId = (Long) source.get("sspOrderId");
                if (sspOrderId != null) {
                    String sspOrderName = findSspOrderName(sspOrderId);
                    map.put("sspOrderName", sspOrderName);
                }

                Long sspPlanId = (Long) source.get("sspPlanId");
                if (sspPlanId != null) {
                    String sspPlanName = findSspPlanName(sspPlanId);
                    map.put("sspPlanName", sspPlanName);
                }

                Long sspCreativeId = (Long) source.get("sspCreativeId");
                if (sspCreativeId != null) {
                    String sspCreativeName = findSspCreativeName(sspCreativeId);
                    map.put("sspCreativeName", sspCreativeName);
                }
                source.putAll(map);

                list.add(source);
                //System.out.println(hit.getSourceAsString());
            }
        }

        return new Pagination<Map<String, Object>>(totalCount, PAGESIZE, currentPageNo, list.toArray(new Map[]{}));	//分页处理类

    }


    private String findSspAdvertiserName(Long advertiserId) {
        SspAdvertiser sspAdvertiser = new SspAdvertiser();
        sspAdvertiser.setId(advertiserId);
        RestResponse restResponse = sspAdvertiserService.find(sspAdvertiser);
        ArrayList result = (ArrayList) restResponse.getResult();
        LinkedHashMap map = (LinkedHashMap) result.get(0);
        String name = (String) map.get("name");
        return name;
    }

    private String findSspOrderName(Long orderId) {
        String name = null;
        try {
            RestResponse restResponse = sspOrderService.find(orderId);
            ArrayList result = (ArrayList) restResponse.getResult();
            LinkedHashMap map = (LinkedHashMap) result.get(0);
            name = (String) map.get("name");
        } catch (Exception e) {
            LOG.error("订单查询失败");
        }
        return name;
    }

    private String findSspPlanName(Long planId) {
        String name = null;
        try {
            RestResponse restResponse = sspPlanService.find(planId);
            LinkedHashMap map = (LinkedHashMap) restResponse.getResult();
            name = (String) map.get("name");
        } catch (Exception e) {
            LOG.error("计划查询失败");
        }
        return name;
    }

    private String findSspCreativeName(Long creativeId) {
        SspCreative creative = new SspCreative();
        creative.setId(creativeId);
        RestResponse restResponse = sspCreativeService.find(creative);
        ArrayList result = (ArrayList) restResponse.getResult();
        LinkedHashMap map = (LinkedHashMap) result.get(0);
        String name = (String) map.get("creativeName");
        return name;
    }


/*    public List<SearchHit> page(int pageNo, int pageSize, SearchHit[] hits) {
        List<SearchHit> result = new ArrayList<>();
        if (hits != null && hits.length > 0) {
            int allCount = hits.length;
            int pageCount = (allCount + pageSize - 1) / pageSize;
            if (pageNo >= pageCount) {
                pageNo = pageCount;
            }
            if (pageNo < 1) {
                pageNo = 1;
            }
            int start = (pageNo - 1) * pageSize;
            int end = pageNo * pageSize;
            if (end >= allCount) {
                end = allCount;
            }
            for (int i = start; i < end; i++) {
                result.add(hits[i]);
            }
        }
        return (result != null && result.size() > 0) ? result : null;
    }*/

}


附:

查询类型

1、query and fetch
向索引的所有分片（shard）都发出查询请求，各分片返回的时候把元素文档（document）和计算后的排名信息一起返回。这种搜索方式是最快的。因为相比下面的几种搜索方式，这种查询方法只需要去shard查询一次。但是各个shard返回的结果的数量之和可能是用户要求的size的n倍。
2、query then fetch（默认的搜索方式）
如果你搜索时，没有指定搜索方式，就是使用的这种搜索方式。这种搜索方式，大概分两个步骤，第一步，先向所有的shard发出请求，各分片只返回排序和排名相关的信息（注意，不包括文档document)，然后按照各分片返回的分数进行重新排序和排名，取前size个文档。然后进行第二步，去相关的shard取document。这种方式返回的document与用户要求的size是相等的。
3、DFS query and fetch
这种方式比第一种方式多了一个初始化散发(initial scatter)步骤，有这一步，据说可以更精确控制搜索打分和排名。
4、DFS query then fetch
比第2种方式多了一个初始化散发(initial scatter)步骤。




zhe1110
关注
ElasticSearch查询
时光刻下的容颜
08-31 445
最近遇到了一个叫ElasticSearch盆友，用它玩了一下查询游戏： List> dataList = new ArrayList>(); Client client = null; try{ //获取Elasticsearch client对象 client = getEsClient(); //设置查询条件（类似sql中 eventid = eventid )
elasticsearch 查询
尼古拉斯.张飞的博客
04-12 310
目录 1.转载文章 2.elasticsearch基础概念 1. RESTFul API 2. Elasticsearch中的概念与关系型数据库对比。 3.代码操作 1. 引入elasticsearch jar 2. 创建elasticsearch Client 连接 3.elasticsearch 简单查询 属性定义 4. elasticsearch 组合多条件查询实...
springboot 整合elasticsearch5.5.0 示例以及简单查询
12-18
springboot 整合elasticsearch5.5.0 示例以及简单查询
Elasticsearch 常用查询配置
slwsss的专栏
02-25 1896
{ "from": 0,"size" : 100,//分页用（只统计数量将size设为0） "query" : { "bool" : { "filter" : [ {"term" : {"field" : 123}},//精确匹配 {"terms" : {"field" : [123,345]}},//相当于in...
使用Spring Boot集成Elasticsearch
技术研究中心
07-24 623
通过以上步骤，我们成功地在Spring Boot项目中集成了Elasticsearch，并实现了基本的CRUD操作。通过这种方式，我们可以充分利用Elasticsearch的强大搜索和分析功能，为应用程序提供高效的数据处理能力。本文将详细介绍如何在Spring Boot项目中集成Elasticsearch，包括环境配置、基本CRUD操作和常见问题的解决方法。大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！著作权归聚娃科技微赚淘客系统开发者团队，转载请注明出处！
elasticsearch 查看所有集群设置_cluster/settings
勿忘初心
08-03 2303
【代码】elasticsearch 查看所有集群设置_cluster/settings。
ES: spring boot中使用ElasticsearchClient
amadeus_liu2的博客
03-19 811
其中ES服务器的地址复用spring data ES 的spring.elasticsearch.uris。一、依赖：（要根据不同版本的ES来调整依赖,否则会报错，不支持太低版本的ES，比如7.6以下的）四、使用ElasticsearchClient操作索引。三、配置ElasticsearchClient。
Spring Boot中的Elasticsearch自动配置
Java徐师兄的博客
07-01 3379
Spring Boot中的Elasticsearch自动配置为我们提供了一种快速集成Elasticsearch的方式，使我们可以在Spring Boot应用程序中轻松地使用Elasticsearch。本文介绍了Elasticsearch自动配置的作用、原理和使用方法。我们了解到，Elasticsearch自动配置可以帮助我们轻松地集成Elasticsearch，并提供一些默认的配置，例如连接池、序列化方式、重试机制等，使我们可以更加专注于业务逻辑的实现。
es+springboot
02-17
标题"es+springboot"暗示了我们将在Spring Boot框架下集成Elasticsearch（ES）这一搜索引擎技术。Elasticsearch是一个开源的分布式、RESTful风格的搜索和数据分析引擎，常用于大数据分析和全文检索。Spring Boot是...
elasticsearch+springboot详细安装使用教程附项目源码
06-17
全面学习与应用 Elasticsearch：下载、配置、示例代码及项目源码 欢迎来到完整的 Elasticsearch 学习与应用指南！无论您是新手还是有经验的开发者，这份资源都将带您深入探索 Elasticsearch 数据库的世界。 下载与...
Elastic search + SpringBoot 数据操作增删改查
小青蛙的博客
07-12 805
Elastic search + SpringBoot 数据操作增删改查
elasticsearch整合Spring用例
09-17
elasticsearch_springdata整合用例,包含坐标,案例,实体类等
springboot+elasticsearch
06-13
通过添加相应的依赖（如在`pom.xml`中），可以引入所需库，然后配置Elasticsearch的连接信息。接着，可以创建一个Repository接口，Spring Data Elasticsearch会自动处理与Elasticsearch的交互，包括文档的CRUD操作。...
elk+springboot+kafka日志跟踪配置1
08-08
ELK+SringBoot+Kafka ...通过 logback 配置，SpringBoot 可以将日志输出到 Logstash， Logstash 可以将日志输出到 Elasticsearch，Kafka 可以将日志输出到 Kafka topic。这样，开发者可以轻松地实现日志跟踪和分析。
Springboo 整合 elasticSearch 详细配置
野的博客
06-05 3519
1.首先导入pom文件： <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-client</artifactId> <version>6.4.0</version> &...
SpringBoot2.x之Elasticsearch的配置使用(2)
qq_44779506的博客
03-20 545
实体类 import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsConstructor; import org.springframework.data.annotation.Id; import org.springframework.data.elasticsearch.annotations.Docu...
Springboot中使用Elasticsearch（部署+使用+讲解 最完整）
最新发布
qq_73440769的博客
08-28 1814
最完整最详细的springboot中使用es，在前面有服务器部署es相关的东西，在后面有使用java的实战，对于实战的方法使用结合官网深度去研究和讲解。在这篇文章前面是实战，后面是具体讲解~~~如果只想实战就只看一和二，深入了解就继续看，在未来还会继续更新对这个实战，还有es技术的更新，几万字大长文。
Spring Boot + Elasticsearch
一光年
01-25 7055
The Integration Zone is brought to you in partnership with 3scale. Take control of your APIs and get a free t-shirt when you complete the 3step Challenge.  We often use Elasticsearch to impro
SpringData Elasticsearch 方法名查询默认查询10条的问题
applebomb的专栏
10-11 2996
使用方法名来构建查询，曾经一直使用的好好的，突然有发现查询出来的记录不符合了。怎么查询也只有10条匹配，突然想到可能ES查询引擎本身的限制，一查果然是。 https://knowledgebase.progress.com/articles/Article/ElasticSearch-returns-only-the-first-10-results https://www.elastic.co/guide/en/elasticsearch/reference/6.3/search-request-fr
微信小程序和elasticsearch+springboot
01-20
首先，开发人员可以使用Elasticsearch建立索引，将数据存储到Elasticsearch中。然后，通过Spring Boot搭建后端服务，提供搜索和推荐的API接口。最后，使用微信小程序开发工具开发前端界面，调用后端API接口进行搜索...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值