Springboot + ElasticSearch 构建博客检索系统

最新推荐文章于 2024-07-25 16:29:41 发布
最新推荐文章于 2024-07-25 16:29:41 发布
阅读量511 收藏 3
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch mysql es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43758633/article/details/114005119
版权

ElasticSearch 软件安装见 https://blog.csdn.net/weixin_43758633/article/details/111397877

第1章 演示 postman、kibana对ES的交互

postman 操作

Get 查看所有索引

localhost:9200/_all

PUT 创建索引-test

localhost:9200/test  


DEL 删除索引-test

localhost:9200/test  


PUT 创建索引-person-1

localhost:9200/person


PUT 新增数据-person-1

localhost:9200/person/_doc/1

{
	"first_name" : "John",
  "last_name" : "Smith",
  "age" : 25,
  "about" : "I love to go rock climbing",
  "interests" : [ "sports", "music" ]
}

PUT 新增数据-person-2

localhost:9200/person/_doc/2

{
	"first_name" : "Eric",
  "last_name" : "Smith",
  "age" : 23,
  "about" : "I love basketball",
  "interests" : [ "sports", "reading" ]
}

GET 搜索数据-person-id

localhost:9200/person/_doc/1

GET 搜索数据-person-name

localhost:9200/person/_doc/_search?q=first_name:john

{
  "took": 56,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 0.6931472,
    "hits": [
      {
        "_index": "person",
        "_type": "_doc",
        "_id": "1",
        "_score": 0.6931472,
        "_source": {
          "first_name": "John",
          "last_name": "Smith",
          "age": 25,
          "about": "I love to go rock climbing",
          "interests": [
            "sports",
            "music"
          ]
        }
      }
    ]
  }
}

Kibana

GET /person/_doc/1

POST /person/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "first_name": "Eric"
          }
        }
      ]
    }
  }
}

//should
POST /person/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "last_name": "Smith"
          }
        },
        {
          "match": {
            "about": "game"
          }
        }
      ]
    }
  }
}
//结果为两个

//改为must
POST /person/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "last_name": "Smith"
          }
        },
        {
          "match": {
            "about": "game"
          }
        }
      ]
    }
  }
}
//结果为1个

第2章 博客网站全文检索

3-1 基于 Mysql 实现

在这里插入图片描述

CREATE DATABASE blog;

USE blog;

CREATE TABLE `t_blog` (    
   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增id',    
   `title` varchar(60) DEFAULT NULL COMMENT '博客标题',    
   `author` varchar(60) DEFAULT NULL COMMENT '博客作者',    
   `content` mediumtext COMMENT '博客内容',    
   `create_time` datetime DEFAULT NULL COMMENT '创建时间',    
   `update_time` datetime DEFAULT NULL COMMENT '更新时间',    
   PRIMARY KEY (`id`)    
) ENGINE=InnoDB AUTO_INCREMENT=9 DEFAULT CHARSET=utf8mb4


# 自己造的几条数据
INSERT INTO `blog`.`t_blog`(`id`, `title`, `author`, `content`, `create_time`, `update_time`) VALUES (1, 'Springboot 为什么这', 'bywind', '没错 Springboot ', '2019-12-08 01:44:29', '2019-12-08 01:44:34');
INSERT INTO `blog`.`t_blog`(`id`, `title`, `author`, `content`, `create_time`, `update_time`) VALUES (3, 'Springboot 中 Redis', 'bywind', 'Spring Boot', '2019-12-08 01:44:29', '2019-12-08 01:44:29');
INSERT INTO `blog`.`t_blog`(`id`, `title`, `author`, `content`, `create_time`, `update_time`) VALUES (4, 'Springboot 中如何优化', 'bywind', NULL, '2019-12-08 01:44:29', '2019-12-08 01:44:29');
INSERT INTO `blog`.`t_blog`(`id`, `title`, `author`, `content`, `create_time`, `update_time`) VALUES (5, 'Springboot 消息队列', 'bywind', NULL, '2019-12-08 01:44:29', '2019-12-08 01:44:29');
INSERT INTO `blog`.`t_blog`(`id`, `title`, `author`, `content`, `create_time`, `update_time`) VALUES (6, 'Docker Compose + Springboot', 'bywind', NULL, '2019-12-08 01:44:29', '2019-12-08 01:44:29');

SELECT * FROM t_blog WHERE title LIKE "%spring%" or content LIKE "%spring%"

在这里插入图片描述

3-2 基于ES实现

在这里插入图片描述
在这里插入图片描述

第4章 Mysql、ES 数据同步

4-1 数据同步中间件

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
不足：不支持 ES6.X 以上、Mysql 8.X 以上
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
time 标识最大时间

4-2 logstash全量、增量同步解决方案

https://www.elastic.co/cn/downloads/logstash

jar 包下载地址
https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.31

下载logstash并解压
在这里插入图片描述
编辑mysql配置文件
在这里插入图片描述

input{
    jdbc{
        # jdbc驱动包位置
        jdbc_driver_library => "D:\\JavaTools\\elasticsearch\\logstash-7.6.1\\mysql-connector-java-5.1.31.jar"
        # 要使用的驱动包类
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # mysql数据库的连接信息
        jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/blog"
        # mysql用户
        jdbc_user => "root"
        # mysql密码
        jdbc_password => "19950818"
        # 定时任务，多久执行一次查询，默认一分钟，如果想要没有延迟，可以使用 schedule => "* * * * * *"
        schedule => "* * * * *"
        # 清空上传的sql_last_value记录
        clean_run => true
        # 你要执行的语句
        statement => "select * FROM t_blog WHERE update_time >= :sql_last_value AND update_time < NOW() ORDER BY update_time desc"
    }
}

output {
    elasticsearch{
        # es host : port
        hosts => ["127.0.0.1:9200"]
        # 索引
        index => "blog"
        # _id
        document_id => "%{id}"
    }
}

运行
logstash -f ../config/mysql.conf
在这里插入图片描述
查看

GET /blog/_stats


POST /blog/_search
{
  
}

POST /blog/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match_phrase": {
            "title": "springboot"
          }
        },
        {
          "match_phrase": {
            "content": "springboot"
          }
        }
      ]
    }
  }
}

sql改进

  • v1：
    在这里插入图片描述
    会丢失临界点数据 R12和R22
  • v2：
    在这里插入图片描述
    会有重复数据，存在不必要的性能开销
  • v3：
    在这里插入图片描述

第 5 章

5-1 分词器介绍

在这里插入图片描述
下载ik分词器并解压到下面的路径
在这里插入图片描述
分词测试

POST _analyze
{
  "analyzer": "standard",
  "text" : "hello imooc"
}

{
  "tokens" : [
    {
      "token" : "hello",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "imooc",
      "start_offset" : 6,
      "end_offset" : 11,
      "type" : "<ALPHANUM>",
      "position" : 1
    }
  ]
}


POST _analyze
{
  "analyzer": "standard"
  , "text": "我是中国人"
}
{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "中",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "国",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "人",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    }
  ]
}
     

POST _analyze
{
  "analyzer": "ik_smart"
  , "text": "我是中国人"
}
{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "中国人",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    }
  ]
}


POST _analyze
{
  "analyzer": "ik_max_word"
  , "text": "我是中国人"
}

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "中国人",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "中国",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "国人",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 4
    }
  ]
}

可以自己添加字典
在这里插入图片描述

5-3 springboot 项目搭建

参考笔记地址：https://www.yuque.com/gaohanghang/vx5cb2/aa576g#wENL7
代码地址：https://github.com/gaohanghang/springboot-blog-es （转自上述笔记）

流水飘香
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
springboot-blog-es:Springboot + ElasticSearch构建博客检索系统
03-11
简易博客检索系统使用前阶段分离，前端使用Vue，可以使用SpringBoot数据库MySQL检索使用ElasticSearch同步数据使用logstash 笔记地址： : 视频地址： : 参考代码： : 运行效果图
Springboot + ElasticSearch 构建博客检索系统.zip
08-05
【SpringBoot + ElasticSearch 构建博客检索系统】 在IT毕业设计中，使用SpringBoot和ElasticSearch构建博客检索系统是一项常见的实践。这个项目旨在利用现代Web开发技术和强大的搜索引擎技术来实现一个高效、易用...
Springboot+ElasticSearch构建博客检索系统-学习笔记02
upward
02-17 361
Springboot+ElasticSearch构建博客检索系统-学习笔记02
SpringBoot集成ElasticSearch实现全文搜索（零基础教学）
qq_39095590的博客
05-31 662
本文将介绍如何在SpringBoot项目中集成ElasticSearch，实现高效的全文搜索功能。全文搜索在现代Web应用中越来越重要，ElasticSearch以其强大的搜索能力、高扩展性和易用性成为首选的搜索引擎。
Java项目（二）--Springboot + ElasticSearch 构建博客检索系统（4）- SpringBoot集成ES
qq_32091929的博客
10-03 2136
打开IDEA，点击New Project新建项目，点击Spring Initializr配置如下，点击Next。 然后在New Project界面配置如下，然后点击Finish。 注意生成项目的Springboot版本为2.7.4，为了避免本教程的配置过时报错，我们把Springboot版本改为2.2.0.RELEASE。 打开src/main/resources/application.properties添加配置信息为 启动项目成功。 首先在com.ql.springboot.es.entity
Springboot+ElasticSearch构建博客检索系统-学习笔记01
upward
02-15 642
Springboot+ElasticSearch构建博客检索系统-学习笔记01
【Spring Boot 2.0学习项目】SpringBoot+ElasticSearch博客检索系统
Mind_programmonkey的博客
01-17 3212
SpringBoot+ElasticSearch博客检索系统 一、初识ElasticSearch 1.ElasticSearch概念和适用场景 分布式； 全文检索； 实时快速； Restful API； 2.ElasticSearch VS MySQL 例子： MySql：select * from user.user_info where name = '张三'; ES：GET /user/user_info/_search?q=name:张三 3.ElasticSearch、kibana安装 El
Java项目（二）--Springboot + ElasticSearch 构建博客检索系统（1）- 技术栈及初识Elasticsearch
qq_32091929的博客
10-03 644
Elasticsearch可以在单点运行，也可以在多节点的集群之上运行，索引的数据通过ES的sharding（分片算法）散列在不同的节点之上，从而实现了高可用，负载均衡的分布式的搜索服务。搜索数据-person-name：GET localhost:9200/person/_doc/_search?搜索数据-person-id：GET localhost:9200/person/_doc/1。新增数据-person-1：PUT localhost:9200/person/_doc/1。
Java项目（二）--Springboot + ElasticSearch 构建博客检索系统（3）- 分词器介绍
qq_32091929的博客
10-03 1311
ES作为全文检索服务，势必要对原始的文本进行内容的拆分，才能进行有效的索引。而拆分原始内容到一个一个小的词，或语义单元，这部分的功能由ES的分词器去完成的。
Java项目（二）--Springboot + ElasticSearch 构建博客检索系统（2）- 博客网站全文检索实现思路
qq_32091929的博客
10-03 1299
但是搜索的业务场景是一种模糊匹配，且并不知道用户会输入什么样的字符，没办法对用户输入的数据做哈希或者其他数据分片的算法，从而也就无法实现单库节点的准确映射，从而对后端的所有节点全部做一次全表扫描，再由中间件处理返回结果，这个时候结果过滤的阶段，查询效率就会更加的低。与此同时，任何节点都可以成为主节点。：全量同步之后，MySQL产生新的数据，包括新插入的数据、以前的老数据得到Update、以前的老数据得到Delete，这三种情况同样的需要同步到ES的Index里面去，然后让他对应的去做新增、更新、删除。
SpringBoot+ElasticSearch实现文档内容抽取、高亮分词、全文检索
weixin_54951878的博客
04-22 1023
es
SpringBoot+ElasticSearch 实现文档内容抽取、高亮分词、全文检索！
民工哥的博客
04-29 149
点击关注公众号，Java干货及时送达????需求产品希望我们这边能够实现用户上传PDF、WORD、TXT之内得文本内容，然后用户可以根据附件名称或文件内容模糊查询文件信息，并可以在线查看文件内容。一、环境项目开发环境：后台管理系统springboot+mybatis_plus+mysql+es搜索引擎：elasticsearch7.9.3 +kibana图形化界面二、功能实现1.搭建环境es+kiban...
Git教程
qq_62892403的博客
07-24 846
基本的Linux命令学习Git配置所有的配置文件都保存在本地查看不同级别的配置文件查看Git用户标识表示Git没有配置设置用户名和邮箱（用户标识，必要）当你安装Git后首页要做的事情就是设置你的用户名和e-mail地址，这很重要，因为每次Git提交都会使用该信息。它被永远的嵌入到你的提交中只需要做一次这个设置，如果你传递了–global选项，因为Git将总是会使用该信息来处理你的系统中所做的一切操作。
Activiti 6 兼容openGauss数据库bytes类型不匹配
cainiaofeitian的专栏
07-25 360
然后去找了一下postgre 数据库类型跟jdbc的类型对照，bytea对应的是binary，找到resource.xml(位置是org.activiti:activiti-engine:6.0.0/org.activiti/db/mapping/entity/Resource.xml)，批量插入的sql把jdbcType修改为binary，重启项目，还是报错。byte_字段是act_ge_bytearray表的，openGauss里的类型是bytea，类型是匹配的。
Eslint从安装到Vue项目配置
警警的博客
07-25 1345
ESLint是一个静态代码分析工具，用于识别JavaScript代码中的模式，帮助开发者发现并修复代码中的问题。
ElasticSearch学习篇15_《检索技术核心20讲》进阶篇之TopK检索
xiaosi的博客
07-25 731
学习极客实践课程《检索技术核心20讲》，文档形式记录笔记。
OCCT使用指南：Foundation Classes
最新发布
weixin_44897632的博客
07-25 653
本手册解释了如何使用Open CASCADE Technology (OCCT) Foundation Classes。它提供了关于基础类的基础文档。有关基础类及其应用的高级信息，请参阅我们的电子学习和培训产品。基础类提供各种通用服务，如自动动态内存管理（通过句柄操纵对象）、集合、异常处理、向下类型转换的泛型和插件创建。基础课程包括以下内容：根类是基本的数据类型和类，所有其他类都是基于它们构建的。
Git操作指令（随时更新）
hsx18787462705的博客
07-24 569
【代码】Git操作指令。
免费课springboot + elasticsearch 构建博客检索系统
07-13
总之，利用Spring Boot和Elasticsearch，我们可以构建一个免费的博客检索系统，提供强大的全文搜索和聚合功能，帮助用户快速找到他们感兴趣的博客内容。这个系统不仅易于开发和维护，还能够处理大量的博客数据，提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值