（3）elasticsearch集成到spingboot相关的操作

最新推荐文章于 2020-10-21 08:38:20 发布
最新推荐文章于 2020-10-21 08:38:20 发布
阅读量153 收藏
点赞数 1
分类专栏： 大数据 文章标签： springboot整合ES ES高亮查询
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35008624/article/details/96473720
版权

ES的原生操作可以简单直观的查询一些东西，在实际的开发过程中与框架的整合可能才是我们比较关心的。今天这边文章主要是用spring data进行操作elasticsearch,详细如下：

一、添加依赖

<!--Elasticsearch相关依赖-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

二、在配置文件中进行elasticsearch的相关配置

spring:
    data:
        elasticsearch:
          repositories:
            enabled: true
          cluster-nodes: 127.0.0.1:9300 # es的连接地址及端口号,多个节点用逗号隔开
          cluster-name: my-es # es集群的名称

三、java相关操作

spring操作elastic的时候有两种方式：ElasticsearchRepository和elasticsearchTemplate，大部分用的是ElasticsearchRepository，在进行高亮显示使用elasticsearchTemplate

（1）添加索引类

import java.io.Serializable;
import java.util.Date;

import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;

/**
 * 
 * String indexName();//索引库的名称，个人建议以项目的名称命名
     
    String type() default "";//类型，个人建议以实体的名称命名
     
    short shards() default 5;//默认分区数
     
    short replicas() default 1;//每个分区默认的备份数
     
    String refreshInterval() default "1s";//刷新间隔
     
    String indexStoreType() default "fs";//索引文件存储类型
 * 加上了@Document注解之后，默认情况下这个实体中所有的属性都会被建立索引、并且分词
 * 不需要中文分词的字段设置成@Field(type = FieldType.Keyword)类型，
 * 需要中文分词的设置成@Field(analyzer = "ik_max_word",type = FieldType.Text)类型
 * @package  com.eebbk.content.questions.youdao.nosql.elasticsearch.document
 * @file     EsQuestion.java
 * @author   lipf
 * @date     2019年7月2日 上午8:42:36
 * @version  V 1.0
 * select id,qid,body,answer,analysis,comment,knowledge,complexity,grade,subject,type 
   		from questions_youdao_onlytext_10w  a 
 */
@Document(indexName = "que_10w", type = "question",shards = 1,replicas = 1)
public class EsQuestion implements Serializable{
	private static final long serialVersionUID = -1L;
	@Id
	private Integer id;
	@Field(analyzer = "ik_max_word",type = FieldType.Text)
	private String body;
	@Field(analyzer = "ik_max_word",type = FieldType.Text)
	private String answer;
	@Field(analyzer = "ik_max_word",type = FieldType.Text)
	private String analysis;
	@Field(type = FieldType.Keyword)
	private String subject;
	@Field(type = FieldType.Keyword)
	private String grade;
	private String complexity;
	private String knowledge;
	private Integer sameFlag;
	private Integer oprateFlag;
	@Field(type = FieldType.Keyword)
	private String type;
	@Field(type = FieldType.Keyword)
	private Date createTime;
	@Field(type = FieldType.Keyword)
	private Date updateTime;
	public Integer getId() {
		return id;
	}
	public void setId(Integer id) {
		this.id = id;
	}
	public String getBody() {
		return body;
	}
	public void setBody(String body) {
		this.body = body;
	}
	public String getAnswer() {
		return answer;
	}
	public void setAnswer(String answer) {
		this.answer = answer;
	}
	public String getAnalysis() {
		return analysis;
	}
	public void setAnalysis(String analysis) {
		this.analysis = analysis;
	}
	public String getSubject() {
		return subject;
	}
	public void setSubject(String subject) {
		this.subject = subject;
	}
	public String getGrade() {
		return grade;
	}
	public void setGrade(String grade) {
		this.grade = grade;
	}
	public String getComplexity() {
		return complexity;
	}
	public void setComplexity(String complexity) {
		this.complexity = complexity;
	}
	public String getKnowledge() {
		return knowledge;
	}
	public void setKnowledge(String knowledge) {
		this.knowledge = knowledge;
	}
	public String getType() {
		return type;
	}
	public void setType(String type) {
		this.type = type;
	}
	public Date getCreateTime() {
		return createTime;
	}
	public void setCreateTime(Date createTime) {
		this.createTime = createTime;
	}
	public Date getUpdateTime() {
		return updateTime;
	}
	public void setUpdateTime(Date updateTime) {
		this.updateTime = updateTime;
	}
	public static long getSerialversionuid() {
		return serialVersionUID;
	}
	public Integer getSameFlag() {
		return sameFlag;
	}
	public void setSameFlag(Integer sameFlag) {
		this.sameFlag = sameFlag;
	}
	public Integer getOprateFlag() {
		return oprateFlag;
	}
	public void setOprateFlag(Integer oprateFlag) {
		this.oprateFlag = oprateFlag;
	}
	
}

（2）创建操作接口继承ElasticsearchRepository

import org.springframework.data.domain.Page;
import org.springframework.data.domain.Pageable;
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;
import org.springframework.stereotype.Repository;

import com.macro.mall.tiny.nosql.elasticsearch.document.EsQuestion;

@Repository
public interface EsQuestionRepository extends ElasticsearchRepository<EsQuestion, Long> {
	 /**
     * 搜索查询
     * 在接口中直接指定查询方法名称便可查询，无需进行实现，
     * 如题目表中有题干、答案和解析，直接定义以下查询，就可以对这三个字段进行全文搜索。
     * @param Content           题干内容
     * @param Answer            题目答案
     * @param Solution          题目解析
     * @param page              分页信息
     * @return
     */
    Page<EsQuestion> findByBodyOrAnswerOrAnalysis(String body, String answer, String analysis, Pageable page);
    
}

在用ElasticsearchRepository进行操作是，只需要写一个接口继承与ElasticsearchRepository，在这里是不用实现的，直接通过索引的字段名进行简单的查询，具体文章参考：https://www.jianshu.com/p/f23893b53e1e

（3）写相应的查询操作

【1】ES多字段查询(词条查询)

@ApiOperation(value = "ES多字段查询(词条查询)")
    @RequestMapping(value = "/questionsearch/multiMatchQuery", method = RequestMethod.GET)
    @ResponseBody
    public CommonResult<CommonPage<EsQuestion>> multiMatchQuery(@RequestParam(required = false) String keyword,
                                                      @RequestParam(required = false, defaultValue = "0") Integer pageNum,
                                                      @RequestParam(required = false, defaultValue = "5") Integer pageSize) {
        Page<EsQuestion> esQuestionPage = esProductService.multiMatchQuery(keyword, pageNum, pageSize);
        return CommonResult.success(CommonPage.restPage(esQuestionPage));
}
@Override
    public Page<EsQuestion> multiMatchQuery(String keyword, Integer pageNum, Integer pageSize) {
        Pageable pageable = PageRequest.of(pageNum, pageSize);
        MultiMatchQueryBuilder multiMatchQuery = QueryBuilders.multiMatchQuery(keyword, "body","answer","analysis");
        return questionRepository.search(multiMatchQuery, pageable);
}

【2】聚合查询

@ApiOperation(value = "ES聚合查询")
    @RequestMapping(value = "/questionsearch/aggregationBuildersQuery", method = RequestMethod.GET)
    @ResponseBody
    public CommonResult<String> aggregationBuildersQuery(@RequestParam(required = false) String keyword,
                                                      @RequestParam(required = false, defaultValue = "0") Integer pageNum,
                                                      @RequestParam(required = false, defaultValue = "5") Integer pageSize) {
    	String esQuestionPage = esProductService.aggregationBuildersQuery(keyword, pageNum, pageSize);
        return CommonResult.success(esQuestionPage);
}
@Override
    public String aggregationBuildersQuery(String keyword, Integer pageNum, Integer pageSize) {
        Pageable pageable = PageRequest.of(pageNum, pageSize);
        // 不查询任何结果
        //nativeSearchQueryBuilder.withSourceFilter(new FetchSourceFilter(new String[]{""}, null));
        //1.创建查询条件，也就是QueryBuild
        MatchAllQueryBuilder matchAllQuery = QueryBuilders.matchAllQuery();//设置查询所有，相当于不设置查询条件
        //2.构建查询
        NativeSearchQueryBuilder nativeSearchQueryBuilder = new NativeSearchQueryBuilder();
        //2.0 设置QueryBuilder
        nativeSearchQueryBuilder.withQuery(matchAllQuery);
        //2.1设置搜索类型，默认值就是QUERY_THEN_FETCH，参考https://blog.csdn.net/wulex/article/details/71081042
        nativeSearchQueryBuilder.withSearchType(SearchType.QUERY_THEN_FETCH);//指定索引的类型，只先从各分片中查询匹配的文档，再重新排序和排名，取前size个文档
        //2.2指定索引库和文档类型
        nativeSearchQueryBuilder.withIndices("que_10w").withTypes("question");//指定要查询的索引库的名称和类型，其实就是我们文档@Document中设置的indedName和type
        //2.3指定聚合函数,本例中以某个字段分组聚合为例（可根据你自己的聚合查询需求设置）
        //该聚合函数解释：计算该字段(假设为subject)在所有文档中的出现频次，并按照降序排名（常用于某个字段的热度排名）
        TermsAggregationBuilder termsAggregation = AggregationBuilders.terms("term_subject").field("subject");
        termsAggregation = termsAggregation.order(termsAggregation.order());
        nativeSearchQueryBuilder.addAggregation(termsAggregation);
        //2.4构建查询对象
        NativeSearchQuery nativeSearchQuery = nativeSearchQueryBuilder.build();
        //3.执行查询
        AggregatedPage  aggregatedPage  = (AggregatedPage) questionRepository.search(nativeSearchQuery);
        //4.根据聚合名称获取对应的聚合
        StringTerms sources  = (StringTerms) aggregatedPage.getAggregation("term_subject");
        //获取查询到的桶
        List<Bucket> buckets = sources.getBuckets();
        StringBuffer stringBuffer = new StringBuffer("");
        for (StringTerms.Bucket b : buckets) {
        	stringBuffer.append("科目名称："+b.getKeyAsString()+"——数量："+b.getDocCount()).append("\n");
        	System.out.println("科目名称："+b.getKeyAsString()+"——数量："+b.getDocCount());
        }
        return stringBuffer.toString();
}

【3】ES布尔查询（综合查询）

 @ApiOperation(value = "ES布尔查询（综合查询）")
    @RequestMapping(value = "/questionsearch/booleanQueSearch", method = RequestMethod.GET)
    @ResponseBody
    public CommonResult<CommonPage<EsQuestion>> booleanQueSearch(@RequestParam(required = false) String keyword,
                                                      @RequestParam(required = false, defaultValue = "0") Integer pageNum,
                                                      @RequestParam(required = false, defaultValue = "5") Integer pageSize) {
        Page<EsQuestion> esQuestionPage = esProductService.booleanQueSearch(keyword, pageNum, pageSize);
        return CommonResult.success(CommonPage.restPage(esQuestionPage));
}
@Override
	public Page<EsQuestion> booleanQueSearch(String keyword, Integer pageNum, Integer pageSize) {
		
		NativeSearchQueryBuilder nativeSearchQueryBuilder =new NativeSearchQueryBuilder();
		nativeSearchQueryBuilder.withQuery(QueryBuilders.boolQuery()
				.must(QueryBuilders.termQuery("subject","化学"))
				.must(QueryBuilders.matchQuery("body",keyword)));
		Page<EsQuestion> newsEntityPage =questionRepository.search(nativeSearchQueryBuilder.build());
		return newsEntityPage;
	}

【4】其他有些查询

@Override
    public Page<EsQuestion> searchQuestion(String keyword, Integer pageNum, Integer pageSize) {
        Pageable pageable = PageRequest.of(pageNum, pageSize);
        //多字段查询
        MultiMatchQueryBuilder matchPhraseQuery = QueryBuilders.multiMatchQuery(keyword, "body");
        //精确匹配查询
        //MatchPhraseQueryBuilder matchPhraseQuery = QueryBuilders.matchPhraseQuery("body", keyword);
        //return questionRepository.search(matchPhraseQuery, pageable);
        //按照ID进行查询
        //IdsQueryBuilder addIds = QueryBuilders.idsQuery().addIds(keyword);
        //模糊查询
        //QueryStringQueryBuilder StringQuery = QueryBuilders.queryStringQuery(keyword).field("body");//左右模糊
        return questionRepository.search(matchPhraseQuery,pageable);
}

【5】高亮查询

@Override
    public AggregatedPage<EsQuestion> highlightQuery(String keyword, Integer pageNum, Integer pageSize) {
        Pageable pageable = PageRequest.of(pageNum, pageSize);
        String preTag = "<font color='#dd4b39'>";//google的色值
        String postTag = "</font>";
        SearchQuery highlightQuery = new NativeSearchQueryBuilder().
                withQuery(QueryBuilders.matchQuery("body", keyword)).
//                withQuery(QueryBuilders.multiMatchQuery("answer", keyword)).
                withHighlightFields(new HighlightBuilder.Field("body").preTags(preTag).postTags(postTag)
//                        ,new HighlightBuilder.Field("answer").preTags(preTag).postTags(postTag)
                        ).build();
        highlightQuery.setPageable(pageable);
        // 不需要高亮直接return ideas 
        // AggregatedPage<EsQuestion> questions = elasticsearchTemplate.queryForPage(highlightQuery, EsQuestion.class);
        // 高亮字段
        AggregatedPage<EsQuestion> questions = elasticsearchTemplate.queryForPage(highlightQuery, EsQuestion.class, new SearchResultMapper() {
            @Override
            public <T> AggregatedPage<T> mapResults(SearchResponse response, Class<T> clazz, Pageable pageable) {
                List<EsQuestion> chunk = new ArrayList<>();
                for (SearchHit searchHit : response.getHits()) {
                    if (response.getHits().getHits().length <= 0) {
                        return null;
                    }
                    EsQuestion que = new EsQuestion();
                    //name or memoe
                    HighlightField ideaTitle = searchHit.getHighlightFields().get("body");
                    if (ideaTitle != null) {
                        que.setBody(ideaTitle.fragments()[0].toString());
                    }
//                    HighlightField ideaContent = searchHit.getHighlightFields().get("ideaContent");
//                    if (ideaContent != null) {
//                        idea.setIdeaContent(ideaContent.fragments()[0].toString());
//                    }
                    chunk.add(que);
                }
                if (chunk.size() > 0) {
                    return new AggregatedPageImpl<>((List<T>) chunk);
                }
                return null;
            }
        });
        return questions;
}

高亮查询成功后显示如下：

其他的详细查询可以参考文章：https://blog.csdn.net/topdandan/article/details/81436141

lipfff
关注
专栏目录
SpringBoot集成Elasticsearch（已实现各种ES操作，上手即可用）
03-03
本实例为博主原创，属于简单易上手并且能够拿来就用的SpringBoot ES 项目，全文使用的是ElasticsearchTemplate进行开发。 本实例涵盖ES中的各类操作，如索引操作、CRUD操作、批处理、结果排序、分页查询、检索查询、关键字查询、高亮显示、逻辑查询、过滤查询、分组查询等等。并且已经过生产环境验证，各位可放心使用。如有不对之处欢迎在博客中留言交流。谢谢！ 欢迎各位大神添加微信公众号：“愿为最亮星”，我们将在这一起探讨Java技术。
mall整合Elasticsearch实现商品搜索
macrozheng的专栏
05-20 868
本文主要讲解mall整合Elasticsearch的过程，以实现商品信息在Elasticsearch中的导入、查询、修改、删除为例。项目使用框架介绍Elasticsear...
ElasticSearch(四)spring-data-elasticsearch @Field注解无效,最完美解决方案
weixin_38399962的博客
07-31 1万+
前言 我看了一大堆博客和资料大多是说这个spring的bug, 然后通过一个.json的配置文件去加载,我也是真的笑了, 本来注解就是方便开发,取消配置文件的功能, 结果解决方案却是本末倒置, 这里我奉献出最正确的解决方案 一. 准备实例代码 这是实体类代码,及其注解 package com.gupao.springbootdemo.bean; import lombok.Data; import org.springframework.data.annotation.Id; import org
SpringBoot集成ElasticSearch7.6.2进行索引操作和文档操作
weixin_43853097的博客
06-22 4107
ES概述 Elaticsearch简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别（大数据时代）的数据。es也使用 Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。 据国际权威的数据库产品评测机构DB Engines的统计，在2016年1月，ElasticSearch已超过Solr等，成 为排名.
Springboot 整合 Elasticsearch 及其中的一些坑
Stormer的博客
12-04 5732
1. 话不多说，先晒出pom文件中的依赖 &lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;org.elasticsearch&lt;/groupId&gt; &lt;artifactId&gt;elasticsearch&lt;/artifactId&gt; ...
SpringBoot集成Elasticsearch（已实现各种ES操作，上手即可用
11-12
本实例为博主原创，属于简单易上手并且能够拿来就用的SpringBoot ES 项目，全文使用的是ElasticsearchTemplate进行开发。 本实例涵盖ES中的各类操作，如索引操作、CRUD操作、批处理、结果排序、分页查询、检索查询、...
最新版本springboot集成elasticsearch
05-25
一般来说我们开发Elasticsearch会选择使用集成springboot，在网上找的springboot集成elasticsearch文章几乎都是extends ElasticsearchRepository的方式来实现。但是新版本ElasticsearchRepository里的方法基本上已经...
springboot 集成elasticsearch ,api的使用
08-02
在本文中，我们将深入探讨如何将Spring Boot与Elasticsearch集成，并使用其API进行数据操作。Elasticsearch是一个流行的开源搜索引擎，它提供了实时、分布式、容错能力的搜索和数据分析功能。Spring Boot则是一个...
全文检索工具：第一章：Spring-data-elasticSearch搜索
Java程序员廖志伟
06-04 1210
快速上手:导入删除查询 引入依赖： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId&...
整合Mongodb实现文档操作
liuerchong的博客
10-21 230
整合Mongodb实现文档操作 本文主要讲解mall整合Mongodb的过程，以实现商品浏览记录在Mongodb中的添加、删除、查询为例。 项目使用框架介绍 Mongodb Mongodb是为快速开发互联网Web应用而构建的数据库系统，其数据模型和持久化策略就是为了构建高读/写吞吐量和高自动灾备伸缩性的系统。 Mongodb的安装和使用 下载Mongodb安装包，下载地址：https://fastdl.mongodb.org/win32/mongodb-win32-x86_64-20
Elasticsearch中ik_max_word和 ik_smart的区别
海涛高软
06-25 2719
1、ik_max_word 会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国、大会堂、大会、会堂等词语。 2、ik_smart 会做最粗粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。 两种分词器使用的最佳实践是：索引时用ik_max_word，在搜索时用ik_smart。 即：索引时最大化的将文章内容分词，搜索时更精确的搜索到想要的结果。 https://blog....
3.SpringDataJPA之定义查询方法(接口规范和SQL注解)
Hayye's Blog
06-26 795
Spring提供了三种查询方法生成策略query-lookup-strategy。可以在<jpa:repositories />标签中进行配置，可选值分别为：create、use-declared-query、create-if-not-found(默认)
Java创建elasticsearch的model时，如何配置使用ik分词器？
Counter-Strike大牛
03-26 1908
在需要分词的属性上面加注解： @Field(type = FieldType.text, analyzer = "ik_max_word", searchAnalyzer = "ik_max_word") 即可。 例如： @Document(indexName = "people_v1", type = "peopleV1") public class People{ @Id p...
七、ElasticSearch与SpringBoot的集成与JPA方法的使用
KimZing的博客
11-28 2万+
完整代码示例，请参考个人GitHub仓库:kingboy-springboot-es, 包含controller/repository以及测试代码。欢迎star，如有错误，欢迎指正^_^一、环境简介 idea 2016.3 jdk 1.8 ElasticSearch 2.4(之所以不用最新的，是因为SpringBoot和ES的版本是需要相匹配的，而SpringBoot Starter目前不支持最新
ELK Elasticsearch 笔记（五）SpringBoot Elasticsearch
qq_15654157的博客
05-04 551
在SpringBoot项目中使用 Elasticsearch https://docs.spring.io/spring-data/elasticsearch/docs/3.2.7.RELEASE/reference/html/#preface.metadata Spring Data Release Train Spring Data Elasticsearch Elastics...
SpringBoot集成Elasticsearch并进行增删改查操作
热门推荐
林老师带你学编程
05-16 5万+
今天给大家简单的介绍一下SpringBoot如何集成Elasticsearch，并简单的介绍一下基于SpringBoot模式下怎么进行简单的增删改查操作，这边增删改查操作有点类似于JPA的模式。（什么是JPA模式，大家可以自行搜索答案） 想学习分布式、微服务、JVM、多线程、架构、java、python的童鞋，千万不要扫码，否则后果自负~ 废话不多说，现在马上开始我们今天的内容。如何新建S...
elasticsearch集成springboot
最新发布
09-23
将Elasticsearch集成到Spring Boot中，可以让我们更方便地使用Elasticsearch来处理数据。 要将Elasticsearch集成到Spring Boot中，我们需要使用Spring Data Elasticsearch。Spring Data Elasticsearch是Spring Data...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值