springboot整合es

已于 2022-03-28 11:35:11 修改
阅读量729 收藏
点赞数
分类专栏： ELK springboot 文章标签： es
于 2020-05-12 14:08:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45834006/article/details/106074653
版权

引入相关依赖


    <properties>
        <java.version>1.8</java.version>
        <elasticsearch.version>7.6.1</elasticsearch.version>
    </properties>

    <dependencies>
        <!-- 解析网页-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.10.2</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.62</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-thymeleaf</artifactId>
            <version>2.2.4.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
    </dependencies>

解析页面所用的实体类

package com.example.bean;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;

/**
 * @author kuai
 */
@Data
@AllArgsConstructor
@NoArgsConstructor
public class Content {
    private String title;
    private String price;
    private  String img ;

}

解析页面工具类

package com.example.utils;


import com.example.bean.Content;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.springframework.stereotype.Component;

import java.io.IOException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;

/**
 * @author kuai
 */
@Component
public class HtmlPageUtil {
   /* public static void main(String[] args) throws IOException {
        List<Object> list = new HtmlPageUtil().parseJD("java");
    }*/

    public List<Object> parseJD(String keywords) throws IOException {
        String url = "https://search.jd.com/Search?keyword=" + keywords;
        //页面对象
        Document document = Jsoup.parse(new URL(url), 30000);
        //页面中的方法都可用
        Element element = document.getElementById("J_goodsList");
        // 获取所有li
        Elements elements = element.getElementsByTag("li");
        List<Object> list = new ArrayList<>();
        for (Element el : elements) {
            String img = el.getElementsByTag("img").eq(0).attr("src");
            String price = el.getElementsByClass("p-price").eq(0).text();
            String title = el.getElementsByClass("p-name").eq(0).text();
            list.add(new Content(title, price, img));
        }
        return list;
    }
}

ES配置

package com.example.config;

import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @author kuai
 */
@Configuration
public class ElasticsearchConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        return  new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
    }
}

提供服务类

package com.example.service;

import com.alibaba.fastjson.JSON;
import com.example.utils.HtmlPageUtil;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.text.Text;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.TermQueryBuilder;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightField;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;

/**
 * @author kuai
 */
@Service
public class ContentService {

    @Autowired
    private RestHighLevelClient restHighLevelClient;
    public Boolean paresContent(String keywords) throws IOException {
        List<Object> list = new HtmlPageUtil().parseJD(keywords);
        //查询的数据放到索引中
        BulkRequest bulkRequest = new BulkRequest();
        bulkRequest.timeout("2m");
        for (int i = 0; i <list.size() ; i++) {
            bulkRequest.add(new IndexRequest("jd_goods").source(JSON.toJSONString(list.get(i)), XContentType.JSON));
        }
        BulkResponse bulk = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);

        return !bulk.hasFailures();
    }

    public List<Map<String,Object>> searchPage(String keyword, int pageNo, int size ) throws IOException {

        if(pageNo<=1){
            pageNo=1;
        }


        //条件搜索
        SearchRequest searchRequest = new SearchRequest("jd_goods");
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

        //分页
        sourceBuilder.from(pageNo);
        sourceBuilder.size(size);

        //精准匹配
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("title", keyword);
        sourceBuilder.query(termQueryBuilder);
        sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

        //关键字高亮
        HighlightBuilder highlightBuilder = new HighlightBuilder();
        highlightBuilder.field("title");
        //关闭多个高亮显示
        highlightBuilder.requireFieldMatch(false);
        highlightBuilder.preTags("<span style='color: red'>");
        highlightBuilder.postTags("</span>");
        sourceBuilder.highlighter(highlightBuilder);

        //执行搜索
        searchRequest.source(sourceBuilder);
        SearchResponse search = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);

        //解析结果
        ArrayList<Map<String,Object>> list = new ArrayList<>();
        for(SearchHit hit: search.getHits().getHits()){

           //解析高亮字段
            Map<String, HighlightField> highlightFields = hit.getHighlightFields();
            HighlightField title = highlightFields.get("title");
            Map<String, Object> sourceAsMap = hit.getSourceAsMap();

            if(title!=null){
                Text[] fragments = title.fragments();
                String new_title="";
                for ( Text text: fragments) {
                    new_title+=title;
                }
                sourceAsMap.put("title",new_title);

            }
            list.add(sourceAsMap);
        }

        return list;
    }

}

控制类

package com.example.controller;


import com.example.service.ContentService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.ui.Model;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.ResponseBody;
import org.springframework.web.bind.annotation.RestController;

import java.io.IOException;
import java.util.List;
import java.util.Map;

/**
 * @author kuai
 */
@RestController
public class ContentController {
    @GetMapping("/test")
    public String test(){
        return "test";
    }

    @Autowired
    private ContentService contentService;
    @GetMapping("/parse/{keyword}")
    @ResponseBody
    public Boolean parse(@PathVariable("keyword") String keyword) throws IOException {
        Boolean aBoolean = contentService.paresContent(keyword);
    return aBoolean;
    }

    @GetMapping("/search/{keyword}/{pageNo}/{pageSize}")
    public List<Map<String, Object>>  search(@PathVariable("keyword") String keyword,
                                           @PathVariable("pageNo") int pageNo,
                                           @PathVariable("pageSize") int pageSize, Model model) throws IOException {
        contentService.paresContent(keyword);
        List<Map<String, Object>> maps = contentService.searchPage(keyword, pageNo, pageSize);


        return maps;
    }


}

解决异步请求问题

package com.example.config;

import org.springframework.context.annotation.Configuration;
import org.springframework.web.servlet.config.annotation.CorsRegistry;
import org.springframework.web.servlet.config.annotation.WebMvcConfigurer;

/**
 * @author kuai
 */
@Configuration
public class CorsConfig implements WebMvcConfigurer {
    @Override
    public void addCorsMappings(CorsRegistry registry) {
        registry.addMapping("/**")
                .allowedOrigins("*")
                .allowedMethods("GET", "HEAD", "POST", "PUT", "DELETE", "OPTIONS")
                .allowCredentials(true)
                .maxAge(3600)
                .allowedHeaders("*");
    }
}

前端页面

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
    <!-- <script type="text/javascript" src="js/jquery.min.js"></script>-->
    <script src="https://cdn.staticfile.org/jquery/1.10.2/jquery.min.js"></script>

    <script type="text/javascript">

        function fun() {
            var keyword = document.getElementById("keywords").value;

            $.ajax({
                type: "get",
                url: 'http://localhost:8080/search/' + keyword + '/1/10',
                dataType: "json",  //数据格式设置为json
                success: function (data) {//成功的回调函数
                    for (var i = 0; i < data.length; i++) {
                        var title = data[i].title;

                       var s = title.substring(20);
                       var split = s.split("]");
                        var img = data[i].img;
                        var price = data[i].price;

                        document.getElementById("wrap").innerHTML += '<li><img src='+img+'></li><li>'+split[0]+'</li><li>'+price+'</li><hr>'

                    }
                }
            });
        }


    </script>
</head>

<body >
<form action="#">
    <input type="text" id="keywords">
    <input type="submit" onclick="fun()" value="提交">
</form>


<div style="margin-left: 10%">

    <ul id="wrap" style="list-style: none">

    </ul>

</div>
</body>
</html>
启动项目效果图

在这里插入图片描述
在这里插入图片描述

springboot 整合ES
weixin_43828846的博客
03-28 8869
pringboot整个es有四种方法，分别是TransportClient、RestClient、SpringData-Es、Elasticsearch-SQL。 官方推荐的是RestClient 1 引入依赖 创建SpringBoot工程，引入依赖，在spring-boot-dependencies中所依赖的ES版本位可能不一致，要改掉 <!-- 将依赖版本号改成对应版本 7.4.2 --> <properties> <java.version>1.8</
springboot整合es-springboot-elasticsearch.zip
11-07
SpringBoot整合Elasticsearch是现代Java开发中常见的一项任务，因为SpringBoot的便捷性和Elasticsearch的高效搜索能力，使得这种结合在数据检索、分析和日志存储等领域广泛应用。本项目"springboot-elasticsearch-...
SpringBoot整合ES
m0_62565675的博客
01-14 2676
SpringBoot整合ES
ElasticSearch在SpringBoot中的操作
最新发布
m0_63948786的博客
09-14 854
在之前学习ES的api时,总觉得很繁琐,并且极不熟悉,所以重新学习,并且封装工具类,用于处理通用的响应结果,最终以达到巩固的目的目录前言ES http操作Gitee地址常用操作索引操作文档操作常用查询操作常见参数设置常见组合类型工具类封装分页参数请求实体ES聚合请求实体ES通用响应实体ES结构解析工具类API操作文档操作批量删除批量保存批量更新修改常用查询操作bool多条件组合match内容匹配match_all匹配全部multi_match多字段匹配range范围匹配function_score得分控制。
SpringBoot整合es
qq_38273070的博客
11-21 2444
springboot整合es
Springboot整合ES
善良小茅????
10-30 2126
Springboot整合ES
SpringBoot整合Elasticsearch7.2.0的实现方法
08-25
SpringBoot整合Elasticsearch7.2.0的实现方法 在本篇文章中，我们将详细介绍如何将 Spring Boot 与 Elasticsearch 7.2.0 整合的实现方法。该方法主要通过示例代码进行详细的介绍，对大家的学习或者工作具有一定的...
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。
03-31
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。高亮显示；自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。
springboot整合ElasticSearch集群
03-29
springboot 2.0.2集成elasticsearch5.5.1，并使用集群模式，亲测可用！！！
SpringBoot整合Elasticsearch完整源码
02-16
这个"SpringBoot整合Elasticsearch完整源码"提供了实现这一目标的详细步骤和代码实例。以下是对相关知识点的详细说明： 1. **Spring Boot**： Spring Boot是由Pivotal Team创建的，旨在简化Spring应用的初始搭建...
SpringBoot整合ElasticSearch实践
08-30
SpringBoot 整合 Elasticsearch 实践 本篇文章主要介绍了 SpringBoot 整合 Elasticsearch 实践，通过一个发表文章的案例来说明 SpringBoot 如何与 Elasticsearch 集成。Elasticsearch 本身可以是一个独立的服务，也...
springboot整合Elasticsearch
12-05
本教程将深入探讨如何将Spring Boot与Elasticsearch进行整合，以构建高效、灵活的数据检索和分析应用。 首先，我们要理解Spring Data Elasticsearch是Spring Data项目的一个模块，它为Elasticsearch提供了一种简单...
Springboot整合es
程序三两行
07-17 2517
Springboot整合ES
【SpringBoot整合NoSql】-----ElasticSearch的安装与操作篇
Learning_xzj的博客
06-23 4564
Redis可以使用内存加载数据并实现数据快速访问，MongoDB可以在内存中存储类似对象的数据并实现数据的快速访问，在企业级开发中对于速度的追求是永无止境的。下面要讲的内容也是一款NoSQL解决方案，只不过他的作用不是为了直接加速数据的读写，而是加速数据的查询的，叫做ES技术。​ ES（Elasticsearch）是一个分布式全文搜索引擎，重点是全文搜索。​ 那什么是全文搜索呢？比如用户要买一本书，以java为关键字进行搜索，不管是书名中还是书的介绍中，甚至是书的作者名字，只要包含java就作为查询结果
【springboot整合ES】springboot整合ES
qq_60969145的博客
11-10 3652
在Springboot整合ES提供了启动依赖jar。该jar包封了一个类: RestHighLevelClient该类可以对象ES中各个接口进行相应的操作。
SpringBoot整合Elasticsearch
04-27
好的，下面是SpringBoot整合Elasticsearch的步骤： 1. 添加Elasticsearch的依赖 在pom.xml文件中添加以下依赖： ``` <groupId>org.springframework.boot <artifactId>spring-boot-starter-data-elasticsearch `...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

缘不易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值