ElasticSearch入门学习笔记（三）SpringBoot整合篇

已于 2022-06-13 11:37:01 修改
阅读量1.4k 收藏 1
点赞数
分类专栏： ELasticSearch 文章标签： spring boot jpa 小程序
于 2021-11-21 14:58:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javaScript1997/article/details/120185031
版权

目录

一、项目所需

1.1导入依赖

<properties>
    <java.version>1.8</java.version>
    <!-- 统一版本 -->
    <elasticsearch.version>7.6.1</elasticsearch.version>
</properties>

导入elasticsearch

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

提前导入fastjson、lombok

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>1.2.70</version>
</dependency>
<!-- lombok需要安装插件 -->
<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <optional>true</optional>
</dependency>

1.2创建并编写配置类–>连上ES

@Configuration
public class ElasticSearchConfig {
    // 注册 rest高级客户端 
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("127.0.0.1",9200,"http")
                )
        );
        return client;
    }
}

1.3测试索引的操作

1、索引的创建
	@Test
	void testCreateIndex() throws IOException {
		//1、创建索引请求
		CreateIndexRequest request = new CreateIndexRequest("jd_goods");
		//2、执行创建请求
        CreateIndexResponse createIndexResponse =
                restHighLevelClient.indices().create(request, RequestOptions.DEFAULT);
        System.out.println("执行创建请求===>"+createIndexResponse);
    }
2、测试获取索引
	@Test
    void testExistIndex() throws IOException {
        GetIndexRequest request = new GetIndexRequest("kuang_index");
        boolean exists = restHighLevelClient.indices().exists(request, RequestOptions.DEFAULT);
        System.out.println("测试获取索引===>"+exists);
    }
3、测试删除索引
	@Test
    void testDeleteIndex() throws IOException {
        DeleteIndexRequest request = new DeleteIndexRequest("kuang_index");
        AcknowledgedResponse delete = restHighLevelClient.indices().delete(request, RequestOptions.DEFAULT);
        System.out.println("是否删除成功===>"+delete);
    }
4、测试添加文档
	@Test
    void testAddDocument() throws IOException {
        //创建对象
        User user = new User("狂神说",3);
        //创建请求
        IndexRequest request = new IndexRequest("kuang_index");

        //规则
        request.id("1");
        request.timeout(TimeValue.timeValueSeconds(1));
        request.timeout("1s");

        //将我们的数据放入请求 json
        request.source(JSON.toJSONString(user), XContentType.JSON);

        //客户端发送请求 获取响应的结果
        IndexResponse indexResponse = restHighLevelClient.index(request, RequestOptions.DEFAULT);

        System.out.println(indexResponse.toString());
        System.out.println(indexResponse.status());//对应我们命令返回的状态 CREATED
    }
5、获取文档 判断是否存在
	@Test
    void testIsExists() throws IOException {
        GetRequest getRequest = new GetRequest("kuang_index","1");
        //不获取返回的 _source的上下文
        getRequest.fetchSourceContext(new FetchSourceContext(false));
        getRequest.storedFields("_none_");

        boolean exists = restHighLevelClient.exists(getRequest, RequestOptions.DEFAULT);
        System.out.println(exists);
    }
6、获取文档的信息
	@Test
    void testGetDocument() throws IOException {
        GetRequest getRequest = new GetRequest("kuang_index","1");
        GetResponse documentFields = restHighLevelClient.get(getRequest, RequestOptions.DEFAULT);
        System.out.println(getRequest);
        System.out.println(documentFields);
    }
7、更新文档的信息
	@Test
    void testUpdateRequest() throws IOException {
        UpdateRequest updateRequest = new UpdateRequest("test","1");
        updateRequest.timeout("1s");
        User user = new User("狂神说java",18);
        updateRequest.doc(JSON.toJSONString(user),XContentType.JSON);
        UpdateResponse updateResponse = restHighLevelClient.update(updateRequest, RequestOptions.DEFAULT);

        System.out.println(updateResponse.status());
    }
8、删除文档记录
	@Test
    void testDeleteRequest() throws IOException {
        DeleteRequest request = new DeleteRequest("kuang_index","2");
        request.timeout("1s");

        DeleteResponse delete = restHighLevelClient.delete(request, RequestOptions.DEFAULT);
        System.out.println(delete.status());
    }
9、批量插入数据
	@Test
    void testBulkRequest() throws IOException {
        BulkRequest bulkRequest = new BulkRequest();
        bulkRequest.timeout("10s");

        ArrayList<User> userList = new ArrayList<>();
        userList.add(new User("kuangshen1",3));
        userList.add(new User("kuangshen2",4));
        userList.add(new User("kuangshen3",5));
        userList.add(new User("kuangshen4",6));
        userList.add(new User("kuangshen5",13));
        userList.add(new User("kuangshen6",23));
        userList.add(new User("kuangshen7",33));

        // 批处理请求
        for (int i = 0; i < userList.size(); i++) {
            bulkRequest.add(new IndexRequest("kuang_index")
                    .id(""+(i+1))
                    .source(JSON.toJSONString(userList.get(i)),XContentType.JSON));
        }
        BulkResponse bulkResponse = restHighLevelClient.bulk(bulkRequest,RequestOptions.DEFAULT);
        System.out.println(bulkResponse.hasFailures());//是否失败 返回false 代表成功
    }
10、查询
	@Test
    void testSearch() throws IOException {
        SearchRequest searchRequest = new SearchRequest(ESconst.ES_INDEX);
        //构建搜索条件
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        //高亮
        sourceBuilder.highlighter();
        //查询条件 我们可以使用 QueryBuilders 工具来实现
        //QueryBuilders.termQuery() 精确
        //QueryBuilders.matchAllQuery() 匹配所有
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name", "qinjiang1");

        MatchAllQueryBuilder allQueryBuilder = QueryBuilders.matchAllQuery();
        System.out.println("allQueryBuilder===>>"+allQueryBuilder);

        sourceBuilder.query(termQueryBuilder);
        sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

        //放入请求
        searchRequest.source(sourceBuilder);

        SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
        System.out.println(JSON.toJSONString(searchResponse.getHits()));
        System.out.println("=====================================");
        for (SearchHit documentFields : searchResponse.getHits().getHits()) {
            System.out.println(documentFields.getSourceAsMap());
        }
    }

二、ElasticSearch实战

2.1导入依赖

<properties>
    <java.version>1.8</java.version>
    <elasticsearch.version>7.6.1</elasticsearch.version>
</properties>
<dependencies>
    <!-- jsoup解析页面 -->
    <!-- 解析网页 爬视频可 研究tiko -->
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.10.2</version>
    </dependency>
    <!-- fastjson -->
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.70</version>
    </dependency>
    <!-- ElasticSearch -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    </dependency>
    <!-- thymeleaf -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-thymeleaf</artifactId>
    </dependency>
    <!-- web -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!-- devtools热部署 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-devtools</artifactId>
        <scope>runtime</scope>
        <optional>true</optional>
    </dependency>
    <!--  -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-configuration-processor</artifactId>
        <optional>true</optional>
    </dependency>
    <!-- lombok 需要安装插件 -->
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    <!-- test -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
</dependencies>

2.2编写 application.preperties配置文件

# 更改端口，防止冲突
server.port=9999
# 关闭thymeleaf缓存
spring.thymeleaf.cache=false

2.3测试controller和view

@Controller
public class IndexController {
    @GetMapping({"/","index"})
    public String index(){
        return "index";
    }
}

三、爬虫京东的数据到ES

3.1编写Config

@Configuration
public class ElasticSearchClientConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("127.0.0.1", 9200, "http")));
        return client;
    }
}

3.2编写service

因为是爬取的数据，那么就不走Dao，以下编写都不会编写接口，开发中必须严格要求编写

ContentService

	// 1、解析数据放入 es 索引中
    public Boolean parseContents(String keyword) throws Exception {
        // 获取内容
        List<Content> contents = new HtmlParseUtil().params(keyword);
        // 内容放入 es 中
        BulkRequest bulkRequest = new BulkRequest();
        bulkRequest.timeout("2m"); // 可更具实际业务是指
        for (int i = 0; i < contents.size(); i++) {
            bulkRequest.add(
                    new IndexRequest("jd_goods")
                            .id(""+(i+1))
                            .source(JSON.toJSONString(contents.get(i)), XContentType.JSON)
            );
        }
        BulkResponse bulk = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);
        restHighLevelClient.close();
        return !bulk.hasFailures();
    }
    // 2、根据keywords分页查询结果并高亮
    public List<Map<String,Object>> highlightBuilder(String keywords, int pageNo, int pageSize) throws IOException {
        if(pageNo <= 1){
            pageNo = 1;
        }

        //条件查询
        SearchRequest searchRequest = new SearchRequest("jd_goods");
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

        //分页
        sourceBuilder.from(pageNo);
        sourceBuilder.size(pageSize);

        //精准匹配--因为term不会分词，而keyword也不会分词，但是IK会默认分词，所以不能在使用termQueryBuilder了
        //TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("title", keywords);
        //完全配置模式
        MatchPhraseQueryBuilder termQueryBuilder = QueryBuilders.matchPhraseQuery("title", keywords);
       
        sourceBuilder.query(termQueryBuilder);
        sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

        //高亮
        HighlightBuilder highlightBuilder = new HighlightBuilder();
        highlightBuilder.requireFieldMatch(false);//多个高亮显示
        highlightBuilder.field("title");
        highlightBuilder.preTags("<span style='color:red'>");
        highlightBuilder.postTags("</span>");
        sourceBuilder.highlighter(highlightBuilder);

        //执行搜索
        searchRequest.source(sourceBuilder);
        SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);

        //解析结果
        ArrayList<Map<String,Object>> list = new ArrayList<>();
        for (SearchHit documentFields : searchResponse.getHits().getHits()) {
            Map<String, HighlightField> fields = documentFields.getHighlightFields();
            HighlightField title = fields.get("title");
            Map<String, Object> sourceAsMap = documentFields.getSourceAsMap();//原来的结果
            //解析高亮的字段
            if(title!=null){
                Text[] texts = title.fragments();
                String newTitle = "";
                for (Text text : texts) {
                    newTitle += text;
                }
                sourceAsMap.put("title",newTitle);//高亮字段替换掉原来的内容即可
            }
            list.add(sourceAsMap);
        }
        return list;
    }

编写controller

	@Autowired
    private ContentService contentService;
    @GetMapping("/parse/{keywords}")
    @ResponseBody
    public Boolean parses(@PathVariable("keywords") String keywords) throws Exception {
        return contentService.parseContents(keywords);
    }

    @ResponseBody
    @GetMapping("/search/{keywords}/{pageNo}/{pageSize}")
    public List<Map<String,Object>> search(@PathVariable("keywords") String keywords,
                                           @PathVariable("pageNo") int pageNo,
                                           @PathVariable("pageSize") int pageSize) throws IOException {

        return contentService.highlightBuilder(keywords,1,10);
    }

3.2爬虫工具类

public class HtmlParseUtil {
    public static void main(String[] args) throws Exception {
        new HtmlParseUtil().params("码出高效").forEach(System.out::println);
    }

    public List<Content> params(String keywords) throws Exception {
        //获取请求 https://search.jd.com/Search?keyword=java
        //前提 需要联网
        String url = "https://search.jd.com/Search?keyword="+keywords+"&enc=utf-8";
        //解析网页
        Document document = Jsoup.parse(new URL(url), 30000);

        //所有你在js中可以使用的方法 这里都能用
        Element element = document.getElementById("J_goodsList");
        //获取所有的li元素
        Elements elements = element.getElementsByTag("li");

        ArrayList<Content> goodList = new ArrayList<>();

        for (Element el : elements) {
            //关于图片特别多的网站  所有图片都是延迟加载的data-lazy-img
            String img = el.getElementsByTag("img").eq(0).attr("data-lazy-img");
            String price = el.getElementsByClass("p-price").eq(0).text();
            String title = el.getElementsByClass("p-name").eq(0).text();
            Content content = new Content();
            content.setImg(img);
            content.setTitle(title);
            content.setPrice(price);
            goodList.add(content);

        }
        return goodList;
    }
}

3.3测试效果

在这里插入图片描述

待解决问题：

1、分词时 自定义分词 需手动建.dic 添加；

2、轮询时间如何设置为秒；

ElasticSearch入门学习笔记（一）概念篇
ElasticSearch入门学习笔记（二）软件安装篇
SpringBoot集成BBOSS-ElasticSearch实现ElasticSearch客户端
阿里云Docker安装ES\ES_Head\安装部署logstash导mysql数据入ElasticSearch
在这里插入图片描述

java亮小白1997
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
javaspring-boot-elasticsearch.7z
04-19
spring-boot-elasticsearch_ ES全文搜索引擎，基于Elasticsearch构建网站日志处理系统，通过数据同步工具等一些列开源组件来快速构建一个日志处理系统，项目雏形初步成型中。
elasticsearch基于java(springboot)
m0_68907326的博客
08-14 556
在kibana中操作elaticsearch
springboot+elasticsearch简单操作（借鉴狂神说视频）
qq_41076792的博客
08-27 254
package com.example.elasticsearchdemo; import com.alibaba.fastjson.JSON; import com.example.elasticsearchdemo.pojo.User; import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest; import org.elasticsearch.action.bulk.BulkRequest; import org.e
ES BulkRequest 写入索引数据失败排查和解决
小杨互联网
08-18 5649
1，查看我们的索引mapping有没有问题，是不是索引的数据格式导致我们数据写入不进去，基本上百分之九十就是这个问题，但是我们的并不是。我们的日期格式在es是yyyymmdd hhmmss格式但是这里是个时间蹉格式，肯定就不对了，但是你会说我jsonfamart也不行吗？这样也不行，我序列化的时候tostring不行吗，答案是不行的，只有在序列化的时候转换一下。问题场景：1，使用BulkRequest写入索引数据不生效，接口正常返回，索引没有数据。这个错就很明显了我们的时间格式不对对不对，咋解决呢？...
ELK学习笔记
博客
09-06 161
ElasticSearch 安装搭建步骤见博客： https://blog.csdn.net/weixin_43887814/article/details/112474285 为什么ElasticSearch.yml是9200端口，但是项目中链接要配置9300？ 9200作为Http协议，主要用于外部通讯 9300作为Tcp协议，jar之间就是通过tcp协议通讯 ES集群之间是通过9300进行通讯 kibana链接elasticSearch配置9200 es主键？ es中默认将id作为主键，数据同步至_
SpringBoot整合Elasticsearch7.2.0的实现方法
08-25
SpringBoot整合Elasticsearch7.2.0的实现方法 在本篇文章中，我们将详细介绍如何将 Spring Boot 与 Elasticsearch 7.2.0 整合的实现方法。该方法主要通过示例代码进行详细的介绍，对大家的学习或者工作具有一定的...
SpringBoot整合Spring Data Elasticsearch的过程详解
08-25
"SpringBoot整合Spring Data Elasticsearch的过程详解" SpringBoot整合Spring Data Elasticsearch是将SpringBoot框架与Elasticsearch搜索引擎进行整合，以实现数据的搜索和索引功能。下面将详细介绍SpringBoot整合...
SpringBoot整合ElasticSearch实践
08-30
本篇文章主要介绍了 SpringBoot 整合 Elasticsearch 实践，通过一个发表文章的案例来说明 SpringBoot 如何与 Elasticsearch 集成。Elasticsearch 本身可以是一个独立的服务，也可以嵌入我们的 Web 应用中，在本案例...
SpringBoot整合elasticsearch集群
01-07
8.2.8 SpringBoot整合elasticsearch集群 Spring 是最受欢迎的企业级 Java 应用程序开发框架，数以百万的来自世界各地的开发人员使用 Spring 框架来创建性能好、易于测试、可重用的代码。Spring Boot是由Pivotal团队...
SpringBoot整合Elasticsearch完整源码
02-16
在本项目中，我们主要探讨的是如何将...通过学习和实践这个"SpringBoot整合Elasticsearch完整源码"，你可以了解到如何在Spring Boot应用中无缝集成Elasticsearch，从而利用其强大的搜索和分析能力来提升应用的功能。
Elasticsearch批量写入，存在就更新Document记录的某个值进行累加，不存在新生成Document记录
喜欢新技术的彭英峻
07-22 2791
最近再做kafka日志消息解析后写入Es的需求，遇到一个特殊需求，需要按照sku维度对日志进行处理，以sku为唯一键，Es中存在则更新Document记录中的热度值（新热度值=原记录热度值+预更新的热度值），不存在则直接新增。 下面为批量处理代码： public void upsertHotValue(List<GoodsHotValueType> list){ if (CollectionUtils.isEmpty(list)) { ret
elasticsearch restclient bulk批量索引数据，可回滚返回失败数据及原因（ES5 仅供参考）
baicd1990的博客
08-27 6562
自用代码，不喜勿喷，感谢指正。（仅供参考，仅供参考，仅供参考。） maven： <!-- 引入es依赖包 --> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticse...
ElasticSearch
weixin_44235190的博客
04-27 135
1.ElasticSearch（简称ES） ES即为了解决原生Lucene使用的不足，优化Lucene的调用方式，并实现了高可用的分布式集群的搜索方案，其第一个版本于2010年2月出现在GitHub上并迅速成为最受欢迎的项目之一。 首先，ES的索引库管理支持依然是基于Apache Lucene™的开源搜索引擎。 ES也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是...
Springboot整合Elasticsearch(Es)
lrs998563的博客
08-16 1531
复杂查询中包含一个条件对象,条件对象里包含了很多条件,比如 分页,高亮,排序,查询指定列,精准匹配,范围查询等等。springboot整合Elasticsearch,整合es,es使用方法
Elastic stack技术栈学习（十）— springboot集成ES API详解
qq_44886213的博客
03-12 6676
在test里测试一下各个API。 打开es，也运行es-head，方便观察。 一、关于索引的API详解 这里的client对ES发出请求，就相当于我们的kibana。 1.1 声明客户端 @SpringBootTest class SpringEsApiApplicationTests { @Autowired @Qualifier("restHighLevelClient") private RestHighLevelClient client; //加上@@Qualifier,就可以
Bulk API
weixin_30501857的博客
08-02 388
承接上文，使用Java High Level REST Client操作elasticsearch Bulk API 高级客户端提供了批量处理器以协助批量请求 Bulk Request BulkRequest可以在一次请求中执行多个索引，更新或者删除操作。一次请求至少需要一个操作。 //创建BulkRequest实例 BulkRequest requ...
全文检索服务 ElasticSearch---------整合Spring Boot
没有简介
08-26 1136
ES提供多种不同的客户端：ES提供的传统客户端，官方计划8.0版本删除此客户端。​   RestClient是官方推荐使用的，它包括两种：REST Low Level Client和 REST High Level Client。ES在6.0之后提供REST High Level Client， 两种客户端官方更推荐使用 REST High Level Client，不过当前它还处于完善中，有些功能还没有。.........
SpringBoot集成ElasticSearch，实现模糊查询，批量CRUD，排序，分页，高亮
wssf001的博客
06-19 653
1.大致流程创建对应的请求 --> 设置请求（添加规则，添加数据等） --> 执行对应的方法（传入请求，默认请求选项）–> 接收响应结果（执行方法返回值）–> 输出响应结果中需要的数据（source，status等）2.注意事项如果不指定id，会自动生成一个随机id正常情况下，不应该这样使用，如果索引发生改变了，那么代码都需要修改，可以定义一个枚举类或者一个专门存放常量的类，将变量用等进行修饰，并指定索引值。其他地方引用该常量即可，需要修改也只需修改该类即可。
ElasticSearch基础学习（SpringBoot集成ES）
最新发布
weibingbing_net的专栏
07-08 4887
什么是ElasticSearch？ElasticSearch，简称为ES， ES是一个开源的高扩展的分布式全文搜索引擎。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。ES也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的来隐藏Lucene的复杂性，从而让全文搜索变得简单。ES核心概念知道了ES是什么后，接下来还需要知道ES是如何存储数据，数据结构是什么，又是如何实现搜索的呢？
Spring Boot集成ES7.10
jjjackjack的博客
08-18 2296
es,springboot
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

java亮小白1997

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值