微服务学习|初识elasticsearch、操作索引库、文档操作、RestClient操作索引库、RestClient操作文档

初识elasticsearch

什么是elasticsearch？

elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。

elasticsearch结合kibana、Logstash、Beats，也就是elastic stack (ELK)。被广泛应用在日志数据分析、实时监控等领域

elasticsearch是elastic stack的核心，负责存储、搜索、分析数据

elasticsearch的发展

Lucene是一个java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发官网地址: https://lucene.apache.org/

2004年shay Banon基于Lucene开发了Compass
2010年shay Banon 重写了Compass，取名为Elasticsearch。
官网地址: https://www.elastic.co/cn/,它的优点就是能够被任何语言调用，发送http请求即可

正向索引和倒排索引

传统数据库(如MySQL)采用正向索引，例如给下表 (tb_goods)中的id创建索引

elasticsearch采用倒排索引:
文档(document):每条数据就是一个文档
词条(term):文档按照语义分成的词语

什么是文档和词条?
每一条数据就是一个文档
对文档中的内容分词，得到的词语就是词条
什么是正向索引?
基于文档id创建索引。查询词条时必须先找到文档，而后判断是否包含词条
什么是倒排索引?
对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时先根据词条查询到文档id，而后获取到文档

文档

elasticsearch是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中

索引(Index)

索引(index):相同类型的文档的集合，相当于数据库中的表

映射 (mapping):索引中文档的字段约束信息，类似数据库中表的结构约束

概念对比

架构

Mysql: 擅长事务类型操作，可以确保数据的安全和一致性

Elasticsearch: 擅长海量数据的搜索、分析、计算

部署单点es

1.创建网络

因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络

2.加载镜像

这里我们采用elasticsearch的7.12.1版本的镜像，这个镜像体积非常大，接近1G。不建议大
家自己pull。课前资料提供了镜像的tar包

大家将其上传到虚拟机中，然后运行命令加载即可

同理还有kibana的tar包也需要这样做

3.运行

运行docker命令，部署单点es

访问本机ip+es的端口号，发现已经可以访问，部署es容器成功

部署kibana

kibana可以给我们提供一个elasticsearch的可视化界面，便于我们学习

部署

运行docker命令，部署kibana

访问本机ip+kibana端口

发现可以访问kibana了，说明容器创建成功

可在控制台编写DSL语句访问es

分词器

es在创建倒排索引时需要对文档分词;在搜索时，需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。我们在kibana的DevTools中测试

可以看到自带的分词器对中文的处理并不友好，都是一个字一个字的分

处理中文分词，一般会使用IK分词器。https://github.com/medcl/elasticsearch-analysis-ik

安装IK分词器，参考课前资料《安装elasticsearch.md》

1.查看数据卷目录

安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过下面命令查看

显示结果，说明plugins目录被挂载到了:/var/1ib/docker/volumes/es-plugins/_data这个目录中

2.解压缩分词器安装包

下面我们需要把课前资料中的ik分词器解压缩，重命名为ik

3.上传到es容器的插件数据卷中

也就是/var/Tib/docker/voTumes/es-plugins/_data

4.重启容器

5.测试

IK分词器包含两种模式，ik_smart:最少切分，ik_max_word:最细切分

可以看到使用ik_smart方式进行分词后，中文词语被成功切分，不再是一个一个字的被分开

使用ik_max_word方式分词，则比如“程序员”被分开了，然而“程序”也是一个词，就依然被弄成了一个词条

比如说，网络上流行的一些新的词汇，比如“奥力给”我们也想将它弄成一个词条，ik分词器识别不出来怎么办呢？用ik分词器-拓展词库解决。

ik分词器-拓展词库

要拓展ik分词器的词库，只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件

在ext.dic文件中添加想要拓展的词语即可，如果没有该文件，则在该目录下新建一个

ik分词器-停用词库

要禁用某些敏感词条，只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件

在stopword.dic文件中添加想要停用的词语即可

重启es容器

重新测试，我们可以看到我们添加的新的词汇被ik分词器识别，分成了独立的词条

分词器的作用是什么?
创建倒排索引时对文档分词
用户搜索时，对输入的内容分词
IK分词器有几种模式?
ik smart:智能切分，粗粒度
ik max word:最细切分，细粒度
IK分词器如何拓展词条?如何停用词条?
利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典
在词典中添加拓展词条或者停用词条

操作索引库

mapping属性

mapping是对索引库中文档的约束，常见的mapping属性包括
type:字段数据类型，常见的简单类型有:
字符串:text (可分词的文本)、keyword (精确值，例如:品牌、国家、ip地址)数值: long、integer、short、byte、double、float、布尔: boolean、日期: date、对象:object
index:是否创建索引，默认为true
analvzer:使用哪种分词器
properties:该字段的子字段

创建索引库

ES中通过Restful请求操作索引库、文档。请求内容用DSL语句来表示。创建索引库和mapping的DSL语法如下

查看、删除索引库

查看索引库语法

删除索引库的语法

修改索引库

索引库和mapping一旦创建无法修改，但是可以添加新的字段，语法如下

文档操作

添加文档

新增文档的DSL语法如下

查看、删除文档

查看文档语法

删除文档的语法

修改文档

方式一:全量修改，会删除旧文档，添加新文档

方式二:增量修改，修改指定字段值

RestClient操作索引库

什么是RestClient？

ES官方提供了各种不同语言的客户端，用来操作ES。这些客户端的本质就是组装DSL语句，通过http请求发送给ES。官方文档地址: https://www.elastic.co/guide/en/elasticsearch/client/index.html

案例：利用JavaRestClient实现创建、删除索引库，判断索引库是否存在

根据课前资料提供的酒店数据创建索引库，索引库名为hotel，mapping属性根据数据库结构定义。基本步骤如下:
1，导入课前资料Demo
2.分析数据结构，定义mapping属性
3.初始化avaRestClient
4.利用JavaRestClient创建索引库
5.利用JavaRestClient删除索引库
6.利用JavaRestClient判断索引库是否存在

步骤1: 导入课前资料Demo

首先导入课前资料提供的数据库数据

然后导入课前资料提供的项目

该项目已经提供好了对上述表的增删改查等一些基本操作

步骤2: 分析数据结构

mapping要考虑的问题:
字段名、数据类型、是否参与搜索、是否分词、如果分词，分词器是什么

根据数据库中该表的字段约束，编写这个索引库的mapping约束

在最后创建一个all，可以用来将所有分词查询的字段添加其中

步骤3: 初始化JavaRestClient

1.引入es的RestHighLevelclient依赖

2.因为SpringBoot默认的ES版本是7.6.2，所以我们需要覆盖默认的ES版本

3.初始化RestHighLevelClient

创建一个测试类，在启动前初始化RestHighLevelClient，结束后，关闭该客户端资源

步骤4:创建索引库

创建索引库代码如下

创建一个常量类，在里面定义静态变量MAPPING_TEMPLATE,也就是创建索引库的DSL语句

步骤5: 删除索引库、判断索引库是否存在

删除索引库代码如下

判断索引库是否存在

RestClient操作文档

案例：利用JavaRestClient实现文档的CRUD

去数据库查询酒店数据，导入到hotel索引库，实现酒店数据的CRUD基本步骤如下:
1.初始化JavaRestClient
2.利用JavaRestClient新增酒店数据
3.利用avaRestClient根据id查询酒店数据
4.利用JavaRestClient删除酒店数据
5.利用lavaRestClient修改酒店数据

步骤1：初始化JavaRestClient

创建一个测试类，在启动前初始化RestHighLevelClient，结束后，关闭该客户端资源

步骤2: 添加酒店数据到索引库

先查询酒店数据，然后给这条数据创建倒排索引，即可完成添加

添加到es索引库中的酒店数据，里面的坐标与数据库中的不一致，我们需要构建一个构造器，来让数据库中的类转换成要存入索引库中的这个类

将数据库中查询到的酒店数据，添加到es索引库中去的代码如下

运行后，我们去查询该文档，可以查询出结果，说明添加到索引库成功

步骤3: 根据id查询酒店数据

根据id查询到的文档数据是json，需要反序列化为java对象

根据id查询到的文档代码如下

运行后，控制台输出结果

步骤4: 根据id修改酒店数据

修改文档数据有两种方式:
方式一:全量更新。再次写入id一样的文档，就会删除旧文档，添加新文档
方式二:局部更新。只更新部分字段，我们演示方式二

修改文档数据代码如下

再次调用根据id查询酒店数据的方法，发现查询出的数据的price和starName已经被修改

步骤5: 根据id删除文档数据

删除文档代码如下

demo中删除文档代码如下

再调用根据id查询酒店数据的方法，发现该条文档已经查询不到，说明删除成功

案例：利用JavaRestClient批量导入酒店数据到ES

需求:批量查询酒店数据，然后批量导入索引库中
思路:
1.利用mybatis-plus查询酒店数据
2.将查询到的酒店数据 (Hotel) 转换为文档类型数据 (HotelDoc)
3，利用JavaRestClient中的Bulk批处理，实现批量新增文档，示例代码如下

demo中的具体代码如下

查询hotel索引库的全部内容，发现所有酒店数据信息已经被导入进来