SpringBoot2.3.x整合ElasticSearch7.6.2 实现PDF,WORD全文检索

已于 2022-06-22 17:25:15 修改
阅读量2.7k 收藏 49
点赞数 22
分类专栏： Elasticsearch SpringBoot 文章标签： elasticsearch 全文检索 spring boot maven java
于 2022-06-02 16:12:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43627706/article/details/125080637
版权
本文介绍了如何在SpringBoot项目中整合Elasticsearch，包括下载安装、插件部署（如ik分词器和ingest-attachment），定义文本抽取管道，并实现实体类、接口和测试用例，展示了如何创建索引、上传文档和进行全文搜索。
摘要由CSDN通过智能技术生成

文章目录

1、下载安装，只下载elasticSearch、Kibana即可

这里我使用7.6.2的elasticsearch版本， 因为项目使用的springboot2.3.x,避免低版本客户端，高版本索引库·，这里我先退回使用低版本索引库
在这里插入图片描述
在这里插入图片描述

插件安装

在这里插入图片描述

插件下载完成之后，将压缩包解压到 elasticsearch的plugins目录， 之后重启elasticsearch
在这里插入图片描述
在这里插入图片描述

定义文本抽取管道

PUT /_ingest/pipeline/attachment
{
 "description" : "Extract attachment information",
 "processors":[
 {
    "attachment":{

        "field":"data",

        "indexed_chars" : -1,

        "ignore_missing":true
     }
 },
 {
     "remove":{"field":"data"}
 }]}

2、SpringBoot整合ElasticSearch

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.58</version>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.18.20</version>
    </dependency>
</dependencies>

application.yml

server:
  port: 9090
spring:
  application:
    name: elasticsearch-service
  elasticsearch:
    rest:
      uris: http://127.0.0.1:9200

实体类

package top.fate.entity;

import lombok.Data;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;

/**
 * @auther:Wangxl
 * @Emile:18335844494@163.com
 * @Time:2020/11/2 14:15
 */
@Data
@Document(indexName = "filedata")
public class FileData {

    @Field(type = FieldType.Keyword)
    private String filePk;
    @Field(type = FieldType.Keyword)
    private String fileName;
    @Field(type = FieldType.Keyword)
    private Integer page;
    @Field(type = FieldType.Keyword)
    private String departmentId;
    @Field(type = FieldType.Keyword)
    private String ljdm;
    @Field(type = FieldType.Text, analyzer = "ik_max_word")
    private String data;
    @Field(type = FieldType.Keyword)
    private String realName;
    @Field(type = FieldType.Keyword)
    private String url;
    @Field(type = FieldType.Keyword)
    private String type;
}

接口类

package top.fate.controller;

import com.alibaba.fastjson.JSON;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.text.Text;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightField;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate;
import org.springframework.data.elasticsearch.core.IndexOperations;
import org.springframework.data.elasticsearch.core.document.Document;
import org.springframework.data.elasticsearch.core.mapping.IndexCoordinates;
import org.springframework.util.Base64Utils;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import top.fate.entity.FileData;

import java.io.File;
import java.io.FileInputStream;
import java.lang.reflect.Method;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.Map;

/**
 * @auther:Wangxl
 * @Emile:18335844494@163.com
 * @Time:2022/6/1 16:33
 */
@RestController
@RequestMapping(value = "fullTextSearch")
public class FullTextSearchController {
    @Autowired
    private ElasticsearchRestTemplate elasticsearchRestTemplate;
    @Autowired
    private RestHighLevelClient restHighLevelClient;

    @GetMapping("createIndex")
    public void add() {

        IndexOperations indexOperations = elasticsearchRestTemplate.indexOps(IndexCoordinates.of("testindex"));
        indexOperations.create();
        Document mapping = indexOperations.createMapping(FileData.class);
        indexOperations.putMapping(mapping);
    }

    @GetMapping("deleteIndex")
    public void deleteIndex() {
        IndexOperations indexOperations = elasticsearchRestTemplate.indexOps(FileData.class);
        indexOperations.delete();
    }

    @GetMapping("uploadFileToEs")
    public void uploadFileToEs() {

        try {
//            File file = new File("D:\\desktop\\Java开发工程师-4年-王晓龙-2022-05.pdf");
            File file = new File("D:\\desktop\\Java开发工程师-4年-王晓龙-2022-05.docx");
            FileInputStream inputFile = new FileInputStream(file);
            byte[] buffer = new byte[(int)file.length()];
            inputFile.read(buffer);
            inputFile.close();
            //将文件转成base64编码
            String fileString = Base64Utils.encodeToString(buffer);

            FileData fileData = new FileData();
            fileData.setFileName(file.getName());
            fileData.setFilePk(file.getName());
            fileData.setData(fileString);

            IndexRequest indexRequest = new IndexRequest("testindex").id(fileData.getFilePk());
            indexRequest.source(JSON.toJSONString(fileData),XContentType.JSON);
            indexRequest.setPipeline("attachment");

            IndexResponse index = restHighLevelClient.index(indexRequest, RequestOptions.DEFAULT);

            return;

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    @GetMapping("search")
    public Object search(@RequestParam("txt") String txt) {
        List list = new ArrayList();
        try {
            SearchRequest searchRequest = new SearchRequest("testindex");

            SearchSourceBuilder builder = new SearchSourceBuilder();

            builder.query(QueryBuilders.matchQuery("attachment.content",txt).analyzer("ik_max_word"));

            searchRequest.source(builder);


            // 返回实际命中数
            builder.trackTotalHits(true);
            //高亮
            HighlightBuilder highlightBuilder = new HighlightBuilder();
            highlightBuilder.field("attachment.content");
            highlightBuilder.requireFieldMatch(false);//多个高亮关闭
            highlightBuilder.preTags("<span style='color:red'>");
            highlightBuilder.postTags("</span>");
            builder.highlighter(highlightBuilder);

            SearchResponse search = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);

            if (search.getHits() != null) {

                for (SearchHit documentFields : search.getHits().getHits()) {
                    Map<String, HighlightField> highlightFields = documentFields.getHighlightFields();
                    HighlightField title = highlightFields.get("attachment.content");
                    Map<String, Object> sourceAsMap = documentFields.getSourceAsMap();
                    if (title != null) {
                        Text[] fragments = title.fragments();
                        String n_title = "";
                        for (Text fragment : fragments) {
                            n_title += fragment;
                        }
                        sourceAsMap.put("data", n_title);
                    }
                    list.add(dealObject(sourceAsMap,  FileData.class));
                }

            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return list;
    }
    /*public static void ignoreSource(Map<String, Object> map) {
        for (String key : IGNORE_KEY) {
            map.remove(key);
        }
    }*/

    public static <T> T dealObject(Map<String, Object> sourceAsMap, Class<T> clazz) {
        try {
//            ignoreSource(sourceAsMap);
            Iterator<String> keyIterator = sourceAsMap.keySet().iterator();
            T t = clazz.newInstance();
            while (keyIterator.hasNext()) {
                String key = keyIterator.next();
                String replaceKey = key.replaceFirst(key.substring(0, 1), key.substring(0, 1).toUpperCase());
                Method method = null;
                try {
                    method = clazz.getMethod("set" + replaceKey, sourceAsMap.get(key).getClass());
                } catch (NoSuchMethodException e) {
                    continue;
                }
                method.invoke(t, sourceAsMap.get(key));
            }
            return t;
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }
}

测试

创建索引

 localhost:9090/fullTextSearch/createIndex

在这里插入图片描述

上传文档

localhost:9090/fullTextSearch/uploadFileToEs

在这里插入图片描述

搜索

localhost:9090/fullTextSearch/search?txt=索引库

在这里插入图片描述

fate急速出击
关注
  • 22
    点赞
  • 踩
  • 49
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 16
    评论
专栏目录
springboot+es实现对word，pdf，txt等文件的非结构化数据全文内容检索
06-11
使用spring boot+Elasticsearch 7.9.1+kibana 实现对word，pdf，txt等文件的非结构化数据全文内容检索
springboot1.x整合elasticsearch5.x
05-12
在本项目中，我们将探讨如何将Spring Boot 1.x与Elasticsearch 5.x进行整合，尽管Spring Boot 1.x官方文档中只提供了与Elasticsearch 2.x的集成指南。 首先，要整合Spring Boot 1.x和Elasticsearch 5.x，我们需要...
SpringBoot + Elasticsearch7.6实现简单查询及高亮分词查询
Java笔记虾
01-13 807
点击关注公众号，利用碎片时间学习前言该文章需要提前准备好Elasticsearch7.6以及ik分词器的环境，如果还没准备好的可以看看https://blog.csdn.net/weixi...
SpringBoot集成ElasticSearch，实现模糊查询，批量CRUD，排序，分页，高亮
qq_52355487的博客
04-18 4306
文章目录一、导入elasticsearch依赖二、创建高级客户端三、基本用法1.创建、判断存在、删除索引2.对文档的CRUD3.批量CRUD数据4.查询所有、模糊查询、分页查询、排序、高亮显示四、总结1.大致流程2.注意事项 一、导入elasticsearch依赖 在pom.xml里加入如下依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>sp
SpringBoot集成ElasticSearch实现全文搜索（零基础教学）
最新发布
qq_39095590的博客
05-31 692
本文将介绍如何在SpringBoot项目中集成ElasticSearch，实现高效的全文搜索功能。全文搜索在现代Web应用中越来越重要，ElasticSearch以其强大的搜索能力、高扩展性和易用性成为首选的搜索引擎。
SpringBoot 检索篇 - 整合 Elasticsearch7.6.2
热门推荐
SongYu的博客
08-27 1万+
前言： 我们的应用经常需要添加检索功能，更或者是大量日志检索分析等，SpringBoot 通过整合 SpringData Elasticdearch 为我们提供了非常便捷的检索功能支持。 Elasticsearch是一个分布式搜索服务，提供Restful API，底层基于Lucene，采用 多Shard的方式保证数据安全，并且提供自动Resharding的功能，GitHub等大型的 站点也是采用了 Elasticsearch 作为其搜索服务。 SpringBoot 默认支持两种技术来和 Elas
SpringBoot整合Elasticsearch全文检索
weixin_42732665的博客
02-09 525
SpringBoot整合Elasticsearch全文检索
springboot集成ElasticSearch7.6实现对文档的操作
moerduo0的博客
02-26 458
开启elasticsearch 开启elasticsearch-head-master 对文档的操作参考：springboot集成ElasticSearch7.6实现对索引的操作 项目结构： 导入依赖： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
ElasticSearch之springboot对文档的操作
niulinbiao的博客
08-09 428
文章预览一、环境准备二、对文档进行操作2.1、添加文档2.2、判断文档是否存在2.3、获取文档信息2.4、 更新文档2.5、删除文档记录2.6、批量插入数据2.7、查询文档 一、环境准备 springboot整合ElasticSearch:https://editor.csdn.net/md/?articleId=119530392 在此基础上 加上User类以及fastjson依赖 User类 package com.zzuli.pojo; import lombok.AllArgsConstructo
SpringBoot2.x：Elasticsearch快速入门
01-27
Elasticsearch是一个基于Lucene的搜索服务器，Elasticsearch也是使用Java编写的，它的内部使用Lucene做索引与搜索，但是它的目的是使用全文检索变得简单，通过隐藏Lucene的复杂性，取而代之的提供一套简单一致的...
springboot集成ES实现磁盘文件全文检索的示例代码
08-25
本资源主要介绍了使用Springboot集成Elasticsearch（ES）实现磁盘文件全文检索的示例代码。该示例代码详细介绍了如何使用ES实现文档的索引和搜索，并提供了完整的项目架构和实现方法。 知识点一：ЕС架构设计 在...
elasticsearch7.1.1安装和配置.pdf
11-14
ElasticSearch7.1.1安装与配置，在centos7.2下面的安装和配置方法，亲身实践的产物，和大家一起分享
SpringBoot集成Elasticsearch7.4 实战.pdf
11-07
1、CentOS7下安装Elasticsearch7.4 2、SpringBoot版本2.1.8.RELEASE，集成Elasticsearch7.4实现创建索引、删除索引；添加输入
Elasticsearch介绍.pdf
08-26
Elasticsearch入门介绍： 1. ES简介 2. ES原理 3. ES基本操作
Elasticsearch权威指南高清中文版PDF
01-12
Elasticsearch权威指南高清中文版PDF..................
Elasticsearch：如何对 PDF 文件进行搜索
Elastic 中国社区官方博客
02-04 6857
Elasticsearch通常用于为字符串，数字，日期等类型的数据建立索引。但是，如果要直接为.pdf或.doc等文件建立索引并使其可搜索该怎么办？在HCM，ERP和电子商务等应用程序中有这种实时用例的需求。 在今天的这篇文章中我们来讲一下如何实现对.pdf或.doc文件的搜索。本解决方案使用于Elasticsearch 5.0以后的版本。 实现原理 我们采用如下的方法来实现把一个.p...
Springboot整合ElasticSearch采用RestHighClient的方式
马明的博客
01-19 1956
个人博客纯净版 Springboot整合ElasticSearch采用RestHighClient的方式 | 代码搬运工 添加依赖 首先需要创建SpringBoot项目,并在项目的pom.xml文件中添加如下依赖： <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding&
ElasticSearch 实现 全文检索 支持（PDF、TXT、Word、HTML等文件）通过 ingest-attachment 插件实现 文档的检索_es全文检索word文件
2401_84160087的博客
04-15 1384
后续我们的文件需要base64后储存到 attachment.content 索引字段中。接下来我们需要创建一个关于ingest-attachment的文本抽取管道。安装完成后需要重新启动ES。ES Config 配置类。数据插入使用的实体类。
SpringBoot 项目使用 Elasticsearch 对 Word、Pdf 等文档内容的检索
cxrshiz7890的博客
07-12 2171
对于`word`、`pdf`等文档类型的文件而言，它们文件底层的内容除了纯文本之外，还会有很多杂乱的信息（比如在一个`word`文件中，除了文本内容，还包含了页面设置、字体大小、颜色等无关信息） 为了剔除文档中与文本无关的信息，所以才需要使用文本抽取插件。 **（2）如何安装文本抽取插件？** 在 `elasticsearch` 的`bin`目录下，使用`elasticsearch-plugin`来安装文本抽取插件`ingest-attachment`。
springboot2.6.X整合elasticsearch
05-19
在Spring Boot 2.6.x中，可以使用Spring Data Elasticsearch来整合Elasticsearch。Spring Data Elasticsearch提供了一组用于构建Elasticsearch应用程序的API，并且可以轻松地与Spring Boot集成。下面是整合步骤： 1. 添加Spring Data Elasticsearch依赖： ``` <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> ``` 2. 配置Elasticsearch连接信息： 在application.properties中添加以下配置： ``` spring.data.elasticsearch.cluster-name=elasticsearch spring.data.elasticsearch.cluster-nodes=localhost:9300 ``` 其中，cluster-name为Elasticsearch集群名称，cluster-nodes为Elasticsearch节点地址。 3. 创建Elasticsearch实体类： ``` @Document(indexName = "user", type = "_doc") public class User { @Id private String id; private String name; private int age; // getters and setters } ``` 其中，@Document注解用于指定索引名称和类型，@Id注解用于指定文档ID。 4. 创建Elasticsearch仓库类： ``` @Repository public interface UserRepository extends ElasticsearchRepository<User, String> { } ``` 其中，UserRepository继承自ElasticsearchRepository，可以直接使用Spring Data Elasticsearch提供的方法进行数据操作。 5. 在Service中使用Elasticsearch仓库类： ``` @Service public class UserService { @Autowired private UserRepository userRepository; public void save(User user) { userRepository.save(user); } public User findById(String id) { return userRepository.findById(id).orElse(null); } public void deleteById(String id) { userRepository.deleteById(id); } public List<User> findAll() { return (List<User>) userRepository.findAll(); } } ``` 其中，save、findById、deleteById、findAll方法都是由ElasticsearchRepository提供的。 至此，Spring Boot 2.6.x整合Elasticsearch的步骤就完成了。通过使用Spring Data Elasticsearch，我们可以轻松地进行CRUD操作。
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

fate急速出击

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值