Springboot整合ElasticSearch小白入门笔记

最新推荐文章于 2024-04-17 16:07:54 发布
最新推荐文章于 2024-04-17 16:07:54 发布
阅读量216 收藏
点赞数
分类专栏： SpringBoot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43627706/article/details/109568934
版权
  1. ElasticSearch7.9.3下载
  2. IK分词器7.9.3下载
  3. kibana7.9.3下载
    kibana是一个es索引库的可视化工具, 这边我也刚入门也做不了太多介绍,大家感兴趣的可以自行去研究一下!!!

下载完成之后我们就可以解压启动运行了
es解压目录
ik分词器解压到es的plugins目录下,这边我还安装了一个 ingest-attachment 用来存放pdf,word 等文件,想了解的大家可以去看下官方文档 ,原理就是将文件内容转为base64进行存储 ,这个插件会将base64再转成文字 ,(表面是文字 , 但实际存的还是base64)
bin目录下点击elasticsearch.bat 运行
在这里插入图片描述
访问"http://localhost:9200/"
在这里插入图片描述
这边可以看到es的版本号,
在这里插入图片描述
查看已安装的插件http://localhost:9200/_cat/plugins

安装插件有两种方法 , 一个是如上图所示, 将插件直接解压拷贝到 elasticSearch 的plugins 文件夹下, 另一种是进入elasticSearch 的bin目录下
在这里插入图片描述

输入命令 : plugin install 插件名
例 : plugin install license

接下来运行kibana 直接进入bin目录,双击kibana运行
在这里插入图片描述
启动完毕之后http://localhost:5601/
在这里插入图片描述
准备工作做好之后接下来开始跟springboot整合吧

这边我没有使用springboot下的es 依赖 我用的是elasticSearch 高级客户端

<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>

yml如下

es:
  address: 127.0.0.1
  port: 9200

接下来是elasticSearch 的配置类

package com.es.esservice.bean;

import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @auther:Wangxl
 * @Emile:18335844494@163.com
 * @Time:2020/11/2 14:35
 */
@Configuration
public class ElasticSearchClientConfig {

    @Value("${es.address}")
    private String address;
    @Value("${es.port}")
    private Integer port;

    @Bean
    public RestHighLevelClient restHighLevelClient() {
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost(address, port, "http")
                )
        );
        return client;
    }
}

做到这一步我们已经把springboot 和 elasticSearch 整合在一块了

接下来我们可以在java代码中调用es的方法了

package com.es.esservice.service;

import com.alibaba.fastjson.JSONObject;
import com.es.esservice.bean.FileData;
import com.es.esservice.bean.Outcome;
import org.apache.pdfbox.multipdf.Splitter;
import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.text.PDFTextStripper;
import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.GetIndexRequest;
import org.elasticsearch.common.text.Text;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentBuilder;
import org.elasticsearch.common.xcontent.XContentFactory;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.MatchQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.TermQueryBuilder;
import org.elasticsearch.index.reindex.DeleteByQueryRequest;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightField;
import org.elasticsearch.search.sort.SortOrder;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import sun.misc.BASE64Encoder;

import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.util.ArrayList;
import java.util.List;
import java.util.ListIterator;
import java.util.Map;
import java.util.concurrent.TimeUnit;

/**
 * @auther:Wangxl
 * @Emile:18335844494@163.com
 * @Time:2020/11/4 15:11
 */
@Service
public class FileDataNewServiceImpl implements FileDataNewService {

    @Autowired
    private RestHighLevelClient restHighLevelClient;


    /**
     * 创建索引
     *
     * @param indexName
     * @return
     */
    @Override
    public Outcome createIndex(String indexName) {
        try {
            XContentBuilder builder = XContentFactory.jsonBuilder()
                    .startObject()
                    .field("properties")
                    .startObject()
                    .field("fileName").startObject().field("index", "true").field("type", "text").field("analyzer", "ik_max_word").endObject()
                    .field("page").startObject().field("index", "true").field("type", "keyword").endObject()
                    .field("departmentId").startObject().field("index", "true").field("type", "keyword").endObject()
                    .field("ljdm").startObject().field("index", "true").field("type", "keyword").endObject()
                    .field("data").startObject().field("index", "true").field("type", "text").field("analyzer", "ik_max_word").endObject()
                    .endObject()
                    .endObject();
            CreateIndexRequest createIndexRequest = new CreateIndexRequest(indexName);
            createIndexRequest.mapping("_doc", builder);
            CreateIndexResponse createIndexResponse = restHighLevelClient.indices().create(createIndexRequest, RequestOptions.DEFAULT);
            boolean acknowledged = createIndexResponse.isAcknowledged();
            if (acknowledged) {
                return Outcome.ok("新增成功");
            } else {
                return Outcome.error("新增失败");
            }
        } catch (Exception e) {
            e.printStackTrace();
            return Outcome.error("新增失败");
        }
    }
        /**
     * 新增文档
     *
     * @param indexName
     * @param multipartFile
     * @return
     */
    @Override
    public Outcome addFileDataPageNew(String indexName, String departmentId, String ljdm, MultipartFile multipartFile) {
        try {
            BASE64Encoder base64Encoder = new BASE64Encoder();
            File file = multipartFileToFile(multipartFile);
            PDDocument document = PDDocument.load(file);
            Splitter splitter = new Splitter();
            List<PDDocument> pages = splitter.split(document);
            ListIterator<PDDocument> iterator = pages.listIterator();
            int i = 1;
            while (iterator.hasNext()) {
                PDDocument currentDocument = iterator.next();
                //获取一个PDFTextStripper文本剥离对象
                PDFTextStripper stripper = new PDFTextStripper();
                //获取文本内容
                String content = stripper.getText(currentDocument);
                FileData fileData = new FileData();
                fileData.setDepartmentId(departmentId);
                fileData.setLjdm(ljdm);
                fileData.setFileName(multipartFile.getOriginalFilename());
                fileData.setData(content);
                fileData.setPage(i);
                IndexRequest source = new IndexRequest(indexName).source(JSONObject.toJSONString(fileData), XContentType.JSON);
                IndexResponse index = restHighLevelClient.index(source, RequestOptions.DEFAULT);
                i++;
            }
//            return index.toString();
            return Outcome.ok("新增成功");
        } catch (Exception e) {
            e.printStackTrace();
            return Outcome.error("新增失败");
        }
    }

    /**
     * 删除文档
     *
     * @param indexName
     * @param fileName
     * @return
     */
    @Override
    public Outcome deleteFile(String indexName, String fileName) {
        try {
            DeleteByQueryRequest filedata = new DeleteByQueryRequest(indexName);
            filedata.setQuery(new MatchQueryBuilder("fileName", fileName));
            restHighLevelClient.deleteByQuery(filedata, RequestOptions.DEFAULT);
            return Outcome.ok("删除成功");
        } catch (Exception e) {
            e.printStackTrace();
            return Outcome.error("删除失败");
        }
    }
     /**
     * 根据文件名查询 并且高亮显示
     * @param fileName
     * @return
     */
    @Override
    public List queryFileByFileName(String fileName) {
        ArrayList fileNames = new ArrayList();
        try {
            //创建搜索请求
            SearchRequest searchRequest = new SearchRequest();
            //构造搜索参数
            SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
            MatchQueryBuilder builderByFileName = QueryBuilders.matchQuery("fileName", fileName);
            searchSourceBuilder.query(builderByFileName);
            searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));
            searchSourceBuilder.sort("page", SortOrder.ASC);
            //高亮
            HighlightBuilder highlightBuilder = new HighlightBuilder();
            //设置高亮字段
            highlightBuilder.field("fileName");
            //如果要多个字段高亮,这项要为false
            highlightBuilder.requireFieldMatch(true);
            highlightBuilder.preTags("<span style='color:red'>");
            highlightBuilder.postTags("</span>");

            highlightBuilder.fragmentSize(800000); //最大高亮分片数
            highlightBuilder.numOfFragments(0); //从第一个分片获取高亮片段
            searchSourceBuilder.highlighter(highlightBuilder);
            searchRequest.source(searchSourceBuilder);
            SearchResponse response = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
//            List<Map<String, Object>> list = new ArrayList<>();
            for (SearchHit hit : response.getHits().getHits()) {
                Map<String, Object> sourceAsMap = hit.getSourceAsMap();
                FileData fileData = new FileData();
                fileData.setFileName((String) sourceAsMap.get("fileName"));
                fileData.setPage((Integer) sourceAsMap.get("page"));
                fileData.setData((String) sourceAsMap.get("data"));

                //解析高亮字段
                Map<String, HighlightField> highlightFields = hit.getHighlightFields();
                HighlightField field1 = highlightFields.get("fileName");
                if (field1 != null) {
                    Text[] fragments = field1.fragments();
                    String n_field = "";
                    for (Text fragment : fragments) {
                        n_field += fragment;
                    }
                    //高亮标题覆盖原标题
                    fileData.setFileName(n_field);
//                    sourceAsMap.put("data",n_field);
                }
                fileNames.add(fileData);
//                list.add(hit.getSourceAsMap());
            }
            return fileNames;
        } catch (Exception e) {
            e.printStackTrace();
        }
        return fileNames;
    }
	
	/**
     * 删除索引
     *
     * @param indexName
     * @return
     */
    @Override
    public Outcome removeIndex(String indexName) {
        try {
            DeleteIndexRequest deleteIndexRequest = new DeleteIndexRequest(indexName);
            restHighLevelClient.indices().delete(deleteIndexRequest, RequestOptions.DEFAULT);
            return Outcome.ok("删除索引成功");
        } catch (Exception e) {
            e.printStackTrace();
            return Outcome.error("删除索引失败");
        }
    }

    /**
     * 查询索引是否存在
     *
     * @param indexName
     * @return
     */
    @Override
    public Outcome selectIndex(String indexName) {
        try {
            GetIndexRequest indexRequest = new GetIndexRequest(indexName);
            boolean exists = restHighLevelClient.indices().exists(indexRequest, RequestOptions.DEFAULT);
            if (exists) {
                return Outcome.ok("索引已存在");
            } else {
                return Outcome.error("索引不存在");
            }
        } catch (Exception e) {
            e.printStackTrace();
            return Outcome.error("查询索引出错");
        }
    }


    public static File multipartFileToFile(MultipartFile file) throws Exception {

        File toFile = null;
        if (file.equals("") || file.getSize() <= 0) {
            file = null;
        } else {
            InputStream ins = null;
            ins = file.getInputStream();
            toFile = new File(file.getOriginalFilename());
            inputStreamToFile(ins, toFile);
            ins.close();
        }
        return toFile;
    }

    //获取流文件
    private static void inputStreamToFile(InputStream ins, File file) {
        try {
            OutputStream os = new FileOutputStream(file);
            int bytesRead = 0;
            byte[] buffer = new byte[8192];
            while ((bytesRead = ins.read(buffer, 0, 8192)) != -1) {
                os.write(buffer, 0, bytesRead);
            }
            os.close();
            ins.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

以上的业务代码大家可以参考一下

感 谢 阅 读 !

fate急速出击
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
SpringBoot——ElasticSearch入门和初步实战
Sicily_winner的博客
03-02 470
ElasticSearch基础知识和启动 link SpringCloud——ElasticSearch实战 1 首先要启动ElasticSearch进入bin文件cmd——&gt;elasticsearch 2 pom.xml &lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;org.springfr...
springboot+elasticsearch，入门最详细的项目
11-08
这是一个入门级别的springboot+elasticsearch的项目，内涵增删改查，值得刚入门的大兄弟们学习
SpringBoot整合ElasticSearch 入门级-简单易学
qq_42137703的博客
09-07 499
SpringBoot整合ElasticSearch
SpringBoot整合ElasticSearch快速入门
qq_42859722的博客
12-10 1481
SpringBoot整合ElasticSearch 1.导入依赖 1.1 导入SpringBoot的基础相关依赖 注意再倒入相关依赖的时候需要导入一个Springboot管理依赖的parent，否则在导入其他依赖不写版本就会报错，因为在这个parent中，springboot内部自动帮我们固定了版本号等。 <parent> <groupId>org.springframework.boot</groupId> <artifactId>sp
SpringBoot整合Elasticsearch
王小白来了
10-08 278
一、SpringBoot整合Elasticsearch SpringBoot整合Elasticsearch非常简单，Elasticsearch实现了JPA接口，我们只需要引入Elasticsearch的Maven依赖，然后像使用JPA那样操作即可。 1. Maven依赖 <parent> <groupId>org.springframework.boot</gr...
SpringBoot整合Elasticsearch7.2.0的实现方法
08-25
SpringBoot整合Elasticsearch7.2.0的实现方法 在本篇文章中，我们将详细介绍如何将 Spring Boot 与 Elasticsearch 7.2.0 整合的实现方法。该方法主要通过示例代码进行详细的介绍，对大家的学习或者工作具有一定的...
SpringBoot整合Elasticsearch完整源码
02-16
这个"SpringBoot整合Elasticsearch完整源码"提供了实现这一目标的详细步骤和代码实例。以下是对相关知识点的详细说明： 1. **Spring Boot**： Spring Boot是由Pivotal Team创建的，旨在简化Spring应用的初始搭建...
SpringBoot整合ElasticSearch实践
08-30
SpringBoot 整合 Elasticsearch 实践 本篇文章主要介绍了 SpringBoot 整合 Elasticsearch 实践，通过一个发表文章的案例来说明 SpringBoot 如何与 Elasticsearch 集成。Elasticsearch 本身可以是一个独立的服务，也...
SpringBoot整合elasticsearch集群
01-07
8.2.8 SpringBoot整合elasticsearch集群 Spring 是最受欢迎的企业级 Java 应用程序开发框架，数以百万的来自世界各地的开发人员使用 Spring 框架来创建性能好、易于测试、可重用的代码。Spring Boot是由Pivotal团队...
SpringBoot整合Spring Data Elasticsearch的过程详解
08-25
"SpringBoot整合Spring Data Elasticsearch的过程详解" SpringBoot整合Spring Data Elasticsearch是将SpringBoot框架与Elasticsearch搜索引擎进行整合，以实现数据的搜索和索引功能。下面将详细介绍SpringBoot整合...
ElasticSearch（三）SpringBoot 整合ES
-
05-04 1779
ElasticSearch（三）SpringBoot 整合ES 使用Java API 这种方式，官方已经明确表示在ES 7.0 版本中弃用 TransportClient 客户端，且在8.0 版本中完全移除它。 可以参考：https://blog.csdn.net/jacksonary/article/details/82729556 官方文档：https://www.elastic.co/guide/en/elasticsearch/client/index.html ElasticSearch-Res
3.es集成springboot
weixin_47039303的博客
05-24 96
1.使用高级客户端封装了低级客户端 2.导入依赖 3.一定导入的依赖与版本一致,自定义 7.6.1 4.写个文件夹 config @Configuration class xxx @Bean public RestHighLevelClient RestHighLevelClient(){ RestHighLevelClient client =new RestHighLevelClient( RestClient.builder(
【SpringBoot搜索】3.SpringBoot整合ElasticSearch
热门推荐
terrybg
06-07 1万+
上篇文章主要描述了ES的安装和ES可视化管理工具kibana，本篇内容主要描述SpringBoot整合ES实现增删改查操作。SpringBoot 在2.0之前对ES支持不友好，只能通过EsTemplate操作ES。本文使用的是SpringBoot 2.4.2版本，对es操作如下：1.实现CrudRepository、ElasticsearchRepository接口2.ElasticsearchRestTemplate3.ElasticsearchOperations。本篇文章主要通过CrudReposit
Elasticsearch 搜索测试与集成Springboot3
yumuing‘s blog
03-25 1104
它能够一定程度上解决，在一个普通数据库处理上亿条数据时的查询效率低下的同时无法优秀地排列好用户所需要的数据，一次性上亿条数据没有经过正确地排列，用户很难找到想要的数据。并且，用户输入的数据可能不太准确，它也能够进行模糊查询，这种模糊查询是依靠计算得来的，而不是简单地匹配数据。本系列博文将从零开始一步步实现将 ES 集成到 springboot3 中，并在一个社区项目中进行实际应用测试，本文为系列第一篇，后续，博文仍在整理，请持续关注博主，了解更多相关知识。
spring boot3整合Elasticsearch 实现快速入门
2301_78646673的博客
11-26 961
Elasticsearch是非常强大的一个开源的分布式搜索和分析引擎，是一个Nosql数据库，可以帮助我们从海量数据中快速找到需要的内容。以传统的MySQL数据库为例，要查询一条数据信息，通常是先找到这个数据的id，在顺应的找到这个数据，那么这样就是正向索引或者说普通索引如（select * from user where title like '%手机%'）这条查询语句会在user表中，逐条的查看数据，看相应的数据是否符合条件。
Elasticsearch 7.6.2 集成 Spring boot
kaili_0230的博客
07-10 1247
Elasticsearch 7.6.2 集成 Spring boot es 7.6.2 集成springboot 2.3.X Spring Data 是一个用于简化数据库、非关系型数据库、索引库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持 map-reduce 框架和云计算数据服务。 Spring Data 可以极大的简化JPA（Elasticsearch„）的写法，可以在几乎不用写实现的情况下，实现对数据的访问和操作。除了 CRUD 外，还包括如分页、排序等一些常用的功能
【ES整合】Springboot 3(1)，2024年最新温故而知新
最新发布
2401_84181564的博客
04-17 561
(img-yDaoNlSE-1713341203490)]V获取：vip204888 （备注大数据）*** LocalDateTime转String。* String转LocalDateTime。
2.4（ElasticSearch）Boot整合操作
weixin_46401545的博客
12-31 881
Boot整合ElasticSearch 关于Boot整合存在很多的方式。一般步骤都是 导入依赖 写配置 IOC调用 不使用starter的maven依赖 这种方式无论是Boot或Sping都可以使用。 查看目录结构 引入依赖 <properties> <!--这里指定版本，对应的是自己的elasticsearch版本--> <elasticsearch.version>7.4.0</elasticsearch.version>
springboot整合Elasticsearch（ES）常用API
05-13
SpringBoot整合Elasticsearch常用API主要包括以下几个方面： 1. 配置Elasticsearch信息 首先需要在application.yml中配置Elasticsearch的连接信息： ``` spring: data: elasticsearch: cluster-name: elastic...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

fate急速出击

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值