java spring项目整合ES-简单易懂篇

最新推荐文章于 2024-05-01 19:17:00 发布
最新推荐文章于 2024-05-01 19:17:00 发布
阅读量4k 收藏 24
点赞数 10
分类专栏： ElasticSearch 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kungFuApe/article/details/118546067
版权

前言


看了好久的官方文档和各类博文,大多数都是几年前的老版本，很多都是弃用了的方法，再不就是复杂且不明觉厉，无力吐槽，故记录下自己的实现全过程，仅供新手参考借鉴，可通过目录选择性查看。

一、 本机装 elasticsearch 和 kibana 、ik分词器

下载安装方式

1. 官网下载

  • 全版本和操作系统的 elasticsearch和 kibana 任君挑选 传送门

  • 全版本 analysis-ik 中文分词器，Github传送门

    展开如下图，选择自己操作系统下需要的版本，解压到自定义目录就能用，免安装。

ES
Kibana

注意：

  1. elasticsearch 和 kibana 的下载版本必须保持一致
  2. 如果公司有配置，最好和公司使用的版本一致
  3. 从Github下载的 ik 分词器需要先用maven指令编译成jar包，步骤可参考博文【Analysis-ik 中文分词安装】 传送门
2. 网盘下载 v 7.10.1

链接：https://pan.baidu.com/s/14KxHzno7mNOD-vyM3-bDeQ
提取码：tksb

提供 elasticsearch 、kibana 、Analysis-ik 的v-7.10.1免安装版，下载解压后将 Analysis-ik文件包放到 **\elasticsearch-7.10.1\plugins 目录下然后重启 elasticsearch

运行

  1. 依次进到 ES 和 Kibana 的 bin 文件夹双击 elasticsearch.bat 和 kibana.bat
  2. 访问默认的本地地址:
    elasticsearch -> localhost:9200
    Kibana -> localhost:5601

访问

在ES进行操作

想ES的浏览器页面想要进行操作是需要插件 elasticsearch-head
方法有两种：

1：是在本地装 elasticsearch-head ，那么就需要先装 nodejs然后还得在本地运行，且只能访问本地的ES，所以推荐下面这种方法 。

2：谷歌浏览器装 ES-head 插件，谷歌上的head插件可以访问本地和远端的ES，更方便我们进行项目的开发和检测。

操作如下：

  • 从这个地址直接下载压缩包 : 传送门
  • 解压
  • 在谷歌浏览器中点击“加载已解压的压缩程序”，找到elasticsearch-head文件夹，点击打开即完成安装。
  • 该方法借鉴自 @小昭码代码 的博文：谷歌浏览器安装es-head插件

图解
在这里插入图片描述
在这里插入图片描述

装好插件后，点开第一步的扩展程序，点击 ElasticSearch Head 就能直接进入ES操作页面，输入地址链接目标ES即可。
在这里插入图片描述

在Kibana进行操作
  1. 先汉化操作界面，到安装目录下 config 配置文件夹 打开 kibana.yml 在最后一行添加下面的代码
 i18n.locale: "zh-CN"

部分参数说明

### 这里配置的是将要访问的ES地址，默认本地9200
#elasticsearch.hosts: ["http://localhost:9200"] 

### 这里配置的是界面语言， "zh-CN" 是中文
#i18n.locale: "en"
  1. 直接访问Kibana的默认地址 localhost:5601 第一次使用需要创建你的第一条索引

图解
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. 分词的使用
GET _analyze	//最少切分
{
  "analyzer": "ik_smart",
  "text": "中国共产党"
}


GET _analyze 	//最细力度划分，穷尽词库的可能
{
  "analyzer": "ik_max_word",
  "text":"中国共产党"
}

配置自定义词典

  1. 在 ik 的 config 配置文件中新增 my.dic 用文本编辑输入自定义词语
  2. 在同目录的 IKAnalyzer.cfg.xml 中添加 my.dic
<entry key="ext_dict">my.dic</entry>

二、 JAVA 项目中添加 ES 的相关操作

简述

首先需要知道 Spring 是有封装 ElasticSearch 的，所以我们可以在 Spring 的官网查看官方的使用说明，要学习查官方文档。
在这里插入图片描述
在这里插入图片描述

pom.xml

添加spring boot data 对 ES 封装的 jar 就行了 别整那么多有的没的用不上的玩意儿

		<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>

application.yml

很简单的配置，主要是需要链接的ES地址，index 中的信息是在后面业务代码中存数据时创建索引用到的，不是必要配置。

spring:
  elasticsearch:
    rest:
      ## ES 的地址
      uris: localhost:9200
    index:
      ## 索引前缀
      prefix: endpoint-authmanager
      length: 7

存数据

这里是通过 function 消费 MQ 中的日志,存储到 ES，
主要调用了 ElasticsearchRestTemplate 的 save( 数据，索引 ) 方法

@Service
public class EndpointUserLogService {
    private Logger logger = LoggerFactory.getLogger(EndpointUserLogService.class);

	//这个类是用来生成索引的，原理是用yml中的索引前缀+当前时间前7位生成
    @Autowired
    private IndexNameProperties indexNameProperties;

	//这个是spring boot data 提供的工具类
    @Autowired
    private ElasticsearchRestTemplate elasticsearchRestTemplate;

    /**
     * 此处用ElasticsearchOperations操作
     * 用Repository<T>.save时触发的refresh无法动态indexName
     * 且多线程时存在安全问题
     * 且Repository<T>.findBy需要QueryParser.escape转义特殊符号
     */
    @Bean
    private Consumer<EndpointUserLog> fetch() {
        return userLog -> {
            String indexName = indexNameProperties.getIndexName(userLog);
            elasticsearchRestTemplate.save(userLog, IndexCoordinates.of(indexName));
            logger.info(indexName);
        };
    }
}

查数据

ElasticsearchRestTemplate 中封装了很多查询方法，大致理解:

//指定索引的单个 ID 查询，通过传参指定接收泛型的封装类类型
 <T> T get(String id, Class<T> clazz, IndexCoordinates index)
//指定索引的多个 ID 查询
 <T> List<T> multiGet(Query query, Class<T> clazz, IndexCoordinates index) 
//复杂查询，通过 Query 及其子类方法完成查询条件的组合， 返回已经封装好的可分页、排序的 SearchHits<T> 对象
<T> org.springframework.data.elasticsearch.core.SearchHits<T> search(Query query, Class<T> clazz, IndexCoordinates index)

查询方法的调用很好理解，这里关键是如何通过Query来满足自己的查询条件，如下：

@RestController
public class LogController {

    @Autowired
    ElasticsearchRestTemplate restTemplate;

    @Value("${spring.elasticsearch.index.prefix}")
    private String index;

    /**
     * id查询
     * @param id
     * @author luce
     * @date 2021/6/21 16:24
     */
    @ApiOperation(value = "id查询")
    @ApiImplicitParam(name = "date", value = "日期", example = "2021-07")
    @GetMapping("/log/{id}")
    public RestInfo<?> findOne(@PathVariable("id") String id, @RequestParam("date") String date) throws IOException {
    		//指定从索引为2021-06的文件中查询
        SysLog log = restTemplate.get(id, SysLog.class, IndexCoordinates.of(2021-06));
        return RestUtil.setSuccessMsg("查询成功", log);
    }

    /**
     * 全局关键字查询
     * @author luce
     * @date 2021/7/6 15:38
     */
    @ApiOperation(value = "全局关键字查询")
    @GetMapping("/log/singleWord")
    public RestInfo<?> singleTitle(LogQueryDto logQueryDto) {
        		//queryStringQuery(字符窜)：查询出匹配的记录，根据匹配度排序
        Query query = new NativeSearchQueryBuilder().withQuery(queryStringQuery(logQueryDto.getValue()))
        		//分页条件
                .withPageable(PageRequest.of(logQueryDto.getPageNum(), logQueryDto.getPageSize()))
                .build();
                
        SearchHits<SysLog> log = restTemplate.search(query, SysLog.class, IndexCoordinates.of(2021-06));
        return RestUtil.setSuccessMsg("查询成功", log);
    }

	/**
     * 指定字段查询
     * @param dto
     * @author luce
     * @date 2021/7/6 16:23
     */
    @ApiOperation(value = "指定字段查询")
    @GetMapping("/log/find/field")
    public RestInfo<?> findByField(LogQueryDto dto) {
    	//termsQuery(字段名，多个字段值)，按匹配度排序
        Query searchQuery = new NativeSearchQueryBuilder().withQuery(termsQuery(dto.getFieldName(), dto.getFieldValues()))
                .withPageable(PageRequest.of(dto.getPageNum() - 1, dto.getPageSize()))
                .build();

        SearchHits<SysLog> log = restTemplate.search(searchQuery, SysLog.class, IndexCoordinates.of(2021-06));
        return RestUtil.setSuccessMsg("查询成功", log);
    }
    
	/**
     * 指定时间查询
     * @param dto
     * @author luce
     * @date 2021/7/8 13:20
     */
    @ApiOperation(value = "指定时间查询")
    @GetMapping("/log/find/time")
    public RestInfo<?> findByTime(LogQueryDto dto) {
        SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");
        //rangeQuery(查询字段)：范围查询，在方法后面接查询范围
        //时间范围 .from(从什么时间开始).to(到什么时间为止)
        //数值范围 .from(开始不包含, false).to(结束不包含, false)
        //数值范围 .gt(大于).gte(大于等于).lt(小于).lte(小于等于)
        Query searchQuery = new NativeSearchQueryBuilder().withQuery(rangeQuery("beginTime")
                        .from(sdf.format(dto.getBeginTime()))
                        .to(sdf.format(dto.getEndTime())))
                .withPageable(PageRequest.of(dto.getPageNum() - 1, dto.getPageSize()))
                .build();
		//通过2021*指定查询范围为所有2021开头的索引
        SearchHits<SysLog> log = restTemplate.search(searchQuery, SysLog.class, IndexCoordinates.of(indexNameProperties.getIndexName("2021*")));
        return RestUtil.setSuccessMsg("查询成功", log);
    }

 	/**
     * 多条件组合查询
     * @param dto
     * @author luce
     * @date 2021/7/8 15:15
     */
    @ApiOperation(value = "组合查询", notes = "时间段 + 关键字")
    @GetMapping("/log/find")
    public RestInfo<?> find(LogQueryDto dto) {
        SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd");
        //boolQuery()：组合查询 后面接子查询
        // .must(QueryBuilder) 		相当于  与   &    =
		// .must not(QueryBuilder) 	相当于  非   ~   !=
		// .should(QueryBuilder) 	相当于  或   |   or 
		// .filter(QueryBuilder)  	过滤
        Query searchQuery = new NativeSearchQueryBuilder().withQuery(boolQuery()
                .must(rangeQuery("beginTime")
                        .from(format.format(dto.getBeginTime()))
                        .to(format.format(dto.getEndTime())))
//                .should(matchQuery(dto.getFieldName(), dto.getFieldValue()))
                .must(queryStringQuery(dto.getWord()))
        )
                .withPageable(PageRequest.of(dto.getPageNum() - 1, dto.getPageSize()))
                .build();

        SearchHits<SysLog> log = restTemplate.search(searchQuery, SysLog.class, IndexCoordinates.of(indexNameProperties.getIndexName("2021*")));
        return RestUtil.setSuccessMsg("查询成功", log);
    }
}

其中

SearchHits<T>是官方提供的已分页封装类，只需要的查询时传一个 Pageable 子类实例对象就行。

SysLog.class 是自己定义的数据接收封装类，只需要注意字段名称和ES中的保持一致就行。ES 中字段的数据类型为 json 的可以用 Object 接收 如下：

java封装类中的字段

 @ApiModelProperty(value = "结束时间")
    private String endTime;

 @ApiModelProperty(value = "开始时间")
    private String beginTime;

 @ApiModelProperty(value = "请求成功否")
    private Boolean success;
   
 @ApiModelProperty(value = "结果")
    	 private Object result; 

 @ApiModelProperty(value = "IP")
    private String ip;

ES中的字段

 "beginTime": "2021-07-06T15:20:28.124",
    "endTime": "2021-07-06T15:20:28.143",
    "success": true,
    "result": {
      "success": true,
      "message": "添加成功",
      "code": 200,
      "timestamp": 1625556028143,
      "result": 1
    },
    "ip": "0:0:0:0:0:0:0:1"

所有方法的传参大致可以理解为.xxx( Query 查询语句 + 接收数据的封装类.class + 查询的索引)

不足之处欢迎大佬指点一二 感谢！

执檀月夜游
关注
  • 10
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spring整合elasticsearch-2.3.5
09-05
本示例程序主要是spring 整合elasticsearch-2.3.5的实践，测试时先将配置文件es.properties中ES服务端es.ip，es.port, es.cluster 配置替换成自己的服务器信息
elasticSearch核心概念的介绍（十一）：JAVA整合ES
陈橙橙
03-03 2078
ES整合JAVA实现 前面我们对ES基本概念和API的基本使用进行大致的说明，有兴趣的朋友可以参考一下专栏 1 这一章我们使用java来整合es查询 1.数据处理 我们对nba中国官网的数据进行爬取并处理成表。 并通过逆向工程生成基本的service、mapper等文件。 @Data @EqualsAndHashCode(callSuper = false) @Accessors(chain = true) @TableName("nba_player") public class NbaPlayer
JAVA集成ES处理空间数据集
admintys的博客
06-28 753
如何您的数据集中包含空间数据 ，请认真看完！！！没有的话其他博主的够你用了。直接划走就行。我也是边学边做的，折腾够呛。和空间有关的相关博客太少了。如何您还没配置ES与kibana请配置好在开始编码。相关类库 配置项yaml config文件 JAVA定义实例 实体类 注意事项：@Document(indexName = “objecteswkt”) indexName 必须小写，FieldType自定义类型 @ID 是必备的，其他可以不写。时间要用DATE类型。不然没发检索 kibana设置ES对应实例的映
SpringBoot3整合Elasticsearch8.x之全面保姆级教程
热爱编程的你我
03-15 2559
SpringBoot3整合Elasticsearch8.x之全面保姆级教程,非常全面
Java集成elasticsearch
weixin_45410882的博客
09-24 4216
Java集成elasticsearch
es的集成与使用
爱上编程2705
09-16 400
java中集成es到业务中
java 操作elasticsearch详细总结
老男孩的架构路
01-15 4729
基于spring-data的方式，在工程启动的时候，会自动读取实体类相关的注解，自动完成索引的创建，运行下创建索引的测试方法；接下来将对上面的两种操作模式做一个详细的总结，本篇所述的es基于7.6.2版本，配合的kibana也为7.6.2版本。我们知道es最强大的功能就是文档检索了，接下来演示下与es文档查询相关的常用API的操作；在实际开发过程中，对于文档的操作更为的频繁，接下来演示与es文档相关的操作api。导入核心依赖，主要是es的rest依赖，其他的可以根据自己的需要导入；
java 整合 Elastic 8.
qq_21344887的博客
07-11 1259
有2种获取client 的方法，一种是账号密码连接，一直是使用apikey。访问 http://localhost/test/ada 后面字段随便输，不能输入相同的，输入相同的会报错。由于2种连接方式都使用了https 认证，需要把es 自定义证书，复制到resources 文件下，命名为。根据官网写的，个别方法有坑，不知道是不是版本问题，我用的8.3.3，下面是自己改好的。这种方式，就不需要在本机jdk 中添加http证书了。导入证书（需要导入2个如下）证书，操作如上1，不能省。更多操作，请查看官网。
java SpringBoot2.7整合Elasticsearch(ES)7 进行文档增删查改
weixin_45966674的博客
02-06 1927
然后 Document 的indexName 告诉程序 我们要用的是哪一个索引 这里我们给了个 books 表示操作books 索引。然后 我们在启动类同目录下的 config 包 没有就建一个 下面创建一个类 叫 ESClientConfig 名字无所谓。此时 我们就运行成功了 然后 可以看到 save 返回的这个对象 就是我们添加进去的东西了。我们的id 1是已经存在的 所以 它会将我们前面添加那条id为1的数据覆盖掉 就是修改功能了。然后 我们通过请求查询一下 books索引下面的文档。
Java集成ElasticSearch
qq_45243068的博客
09-12 927
Java集成ElasticSearch，包含：ES客户端依赖的引入，创建客户端，ES索引管理，ES管道管理，ES新增、修改、删除、查询数据。
Elasticsearch 介绍及java集成
yuechuzhixing的博客
07-18 7750
Elasticsearch 介绍及java集成
java 整合ES实现文档增删改查(多条件分页查询)
weixin_52095909的博客
05-22 1755
本文采用ES版本为8.7.1由于只存储文章,仅用固定索引即可,索引用kibanna直接生成,省略索引部分的增删查步骤。
java-spring-boot-mongodb-starter：MongoDB博客文章：带有Java，Spring Boot和MongoDB的REST API
02-06
快速入门Java＆MongoDB项目 支持的版本： Java 8至15 Spring启动2.4.2 MongoDB 4.4.3 MongoDB Java驱动程序4.1.1 Maven 3.6.3 摇摇3.0.0 MongoDB地图集 在上开始使用免费层集群。 阅读此博客文章：。 您将...
wx-java-miniapp-spring-boot-starter-3.7.0-sources.jar
02-27
java运行依赖jar包
SSM框架整合Java项目源码 - SpringMvc-05示例
03-25
项目概述：本项目命名为 SpringMvc-05 示例，主要采用 Java 语言开发，整合了 SSM（Spring、SpringMVC、MyBatis）框架。项目包含前端和后端两部分，前端使用了 JavaScript、CSS 和 HTML，后端则完全是 Java 实现。...
SpringBoot整合Spring Data Elasticsearch的过程详解
08-25
主要介绍了SpringBoot整合Spring Data Elasticsearch的过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
链表刷题集
yajunjiao的专栏
04-30 507
本文主要列举了一些刷的题，不多，有那么几道，也建议各位去建立自己的刷题集。积少成多。
Spring Cloud——LoadBalancer
最新发布
????
05-01 1393
这里只是简单的讲解了一下LoadBalancer如何使用，因为实际上我们使用的不是很多，主要还是使用OpenFeign。
d15(136-148)-勇敢开始Java，咖啡拯救人生
m0_73459387的博客
04-28 1107
对象哈希值的特点：同一个对象调用hashCode()返回的哈希值相同；HashMap的键依赖hashCode方法和equals方法保证键的唯一，存储自定义类型的对象时，重写这两个方法。实际上，Set系列集合的底层就是基于Map实现的，只是Set集合中的元素要键数据，不要值数据。当12个位置都占满时就会扩容，大约扩容为原来的二倍，再把原数组数据转移到新数组。使用迭代器遍历集合时，又同时在删除集合中的数据，程序就会出现并发修改异常的错误。基于哈希表实现，每个键值对额外多了一个双链表的机制，记录元素顺序（保证。
Java导入spring-boot-starter-test依赖
07-27
要在Java项目中导入spring-boot-starter-test依赖，你可以按照以下步骤进行操作： 1. 打开你的项目的构建文件（例如pom.xml或build.gradle）。 2. 在依赖项（dependencies）部分添加以下代码： Maven项目（pom.xml）： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> ``` Gradle项目（build.gradle）： ```groovy testImplementation 'org.springframework.boot:spring-boot-starter-test' ``` 3. 保存并关闭构建文件。 4. 重新构建你的项目，以确保依赖项被正确导入。 这将会导入spring-boot-starter-test依赖，它包含了一些常用的测试工具和库，可以帮助你编写和执行单元测试和集成测试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值