ElasticSearch学习笔记（狂神）

ElasticSearch
1. 介绍

本笔记参考狂神说，版本为7.6.2

Lucene是一套信息检索工具包（jar包），不含搜索引擎系统

ElasticSearch是基于Lucene做了一些封装和增强

ElasticSearch和Solr之间的对比：

2. 入门操作

JDK1.8以上，客户端，界面工具  版本对应。

2.1 下载

ELK的下载地址

ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D

logstash: https://mirrors.huaweicloud.com/logstash/?C=N&O=D

可视化界面elasticsearch-head.https://github.com/mobz/elasticsearch-head

kibana: https://mirrors.huaweicloud.com/kibana/?C=N&O=D

ik分词器 https://github.com/medcl/elasticsearch-analysis-ik

jdk必须是1.8及以上的版本
 

目录：

bin：启动文件
config：配置文件
	log4j2 日志文件
	jvm.options 虚拟机文件
	elasticsearch.yml 配置文件  比如默认9200端口
lib：相关jar包

modules：功能模块
plugins：插件：比如ik插件

启动，然后localhost:9200访问

2.2 Chrome安装ElasticSearch-head插件

ElasticSearch不同于Solr自带图形化界面，我们可以通过安装ElasticSearch-head插件，完成图形化界面的效果，完成索引数据的查看。

但是，在Windows下安装es-head是非常麻烦的，需要先安装nodojs
然后在cmd控制台中输入如下执行命令：

npm install -g grunt-cli
npm install
grunt server

其实chrome是有ElasticSearch-head插件的，通过安装插件直接在浏览器运行，根本不需要安装nodejs

安装步骤

1. 下载es-head.crx文件
   插件下载地址: https://github.com/mikewuhao/es-head
   

• 2.把下载好的es-head.crx文件扩展名改为.zip的压缩包文件, 如:es-head.zip
• 3.解压缩es-head.zip文件到es-head文件夹
• 4.到chrome的扩展程序里–打开开发者模式—加载已解压的扩展程序–上传刚才的es-head文件夹, 打开浏览器看右上角的es-head图标插件, 即安装成功

打开head插件连接好es路径即可

 

 

2.3 安装kibana

• ELK：日志分析架构栈
• 注意：下载版本与es一致；可以在配置文件中汉化
• 默认端口 localhost:5601

找到开发工具，之后的所有的操作都在这里编写

汉化：在配置文件中修改：

汉化成功：

 

3. ES核心概念

• es是面向文档的，一切都是JSON

• 对比

• • 关系型数据库	Elasticsearch
    数据库database	索引 indices（数据库）
    表tables	types （以后会被弃用）
    行rows	documents （文档）
    字段columns	fields

• 物理设计 :在后台把每个索引划分为多个分片，每片可以再集群中的不同服务器间迁移；

         一个人就是一个集群，默认的集群名就是elasticsearch

            

• 逻辑设计

  • 文档：索引和搜索数据的最小单位是文档；（就是一条条数据）
    • 自我包含：key：value
    • 层次型：一个文档中包含文档（json对象,fastjson自动转换）
  • 类型：文档的逻辑容器 
  • 索引：数据库（非常大的文档集合）

• 倒排索引

  • es使用倒排索引的结构，采用Lucene倒排索引作为底层。用于快速全文检索。

物理设计:节点和分片如何工作

一个集群至少有一 个节点,而一个节点就是一个elasricsearch进程 ,节点可以有多个索引默认的,如果你创建索引,那么索引将会有个5个分片( primary shard ,又称主分片)构成的,每一个主分片会有一个副本( replica shard ,又称复制分片）

上图是一个有3个节点的集群,可以看到主分片和对应的复制分片都不会在同一个节点内,这样有利于某个节点挂掉了,数据也不至于丢失。实际上, 一个分片是一个Lucene索引, 一个包含倒排索引的文件目录,倒排索引的结构使得elasticsearch在不扫描全部文档的情况下,就能告诉你哪些文档包含特定的关键字。不过,等等,倒排索引是什么鬼?
 

倒排索引

elasticsearch使用的是一种称为倒排索引的结构,采用Lucene倒排索作为底层。这种结构适用于快速的全文搜索，一个索引由文档中所有不重复的列表构成,对于每一个词,都有一个包含它的文档列表。 例如,现在有两个文档，每个文档包含如下内容:

Study every day， good good up to forever  # 文 档1包含的内容
To forever, study every day，good good up  # 文档2包含的内容

为创建倒排索引,我们首先要将每个文档拆分成独立的词(或称为词条或者tokens) ,然后创建一个包含所有不重复的词条的排序列表,然后列出每个词条出现在哪个文档:

term	doc_1	doc_2
Study	√	x
To	x	x
every	√	√
forever	√	√
day	√	√
study	x	√
good	√	√
every	√	√
to	√	x
up	√	√

现在，我们试图搜索 to forever，只需要查看包含每个词条的文档

term	doc_1	doc_2
to	√	x
forever	√	√
total	2	1

两个文档都匹配,但是第一个文档比第二个匹配程度更高。如果没有别的条件,现在,这两个包含关键字的文档都将返回。再来看一个示例,比如我们通过博客标签来搜索博客文章。那么倒排索引列表就是这样的一个结构: 

博客文章(原始数据)	博客文章(原始数据)	索引列表(倒排索引)	索引列表(倒排索引)
博客文章ID	标签	标签	博客文章ID
1	python	python	1，2，3
2	python	linux	3，4
3	linux，python
4	linux

如果要搜索含有python标签的文章,那相对于查找所有原始数据而言，查找倒排索引后的数据将会快的多。只需要查看标签这一栏,然后获取相关的文章ID即可。完全过滤掉无关的所有数据,提高效率!

elasticsearch的索引和Lucene的索引对比

在elasticsearch中，索引(库)这个词被频繁使用,这就是术语的使用。在elasticsearch中 ,索引被分为多个分片,每份分片是一个Lucene的索引。所以一个elasticsearch索引是由多 个Lucene索引组成的。别问为什么,谁让elasticsearch使用Lucene作为底层呢!如无特指，说起索引都是指elasticsearch的索引。

接下来的一切操作都在kibana中Dev Tools下的Console里完成。基础操作!
 

4. IK分词器插件

分词:即把一段中文或者别的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词是将每个字看成一个词,比如“我爱狂神”会被分为"我",“爱”,“狂”,“神” ,这显然是不符合要求的,所以我们需要安装中文分词器ik来解决这个问题。

如果要使用中文,建议使用ik分词器!

IK提供了两个分词算法: ik_ smart和ik_ max_ word ,其中ik_ smart为最少切分, ik_ max_ _word为最细粒度划分!一会我们测试!

• 什么是IK分词器：
  • 把一句话分词
  • 如果使用中文：推荐IK分词器
  • 两个分词算法：ik_smart（最少切分），ik_max_word（最细粒度划分）

 

下载安装
下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.6.2 （版本一定要对应，不然闪退）

然后解压，放到elasticsearch的plugins中，建立“ik”文件夹，然后放入；

重启观察es：发现加载ik插件了

使用Kibana测试：

【ik_smart】测试：最小切分

输入：

输出：

{
  "tokens" : [
    {
      "token" : "生在",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "红",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "旗下",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "长在",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "春",
      "start_offset" : 7,
      "end_offset" : 8,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "风里",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 5
    }
  ]
}

 

【ik_max_word】测试：穷尽词库的可能

输入：

输出：

{
  "tokens" : [
    {
      "token" : "生在",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "红旗",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "旗下",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "长在",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "春风",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "风里",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 5
    }
  ]
}

 

用户配置字典
当一些特殊词（比如姓名,这里用狂神说 为例）不能被识别切分时候，用户可以自定义字典：

 

记得更改为UTF-8编码

重启es和kibana测试

原来的：

修改之后：可以看到狂神说 已经成为一个关键词了

以后的话，我们需要自己配置分词，就在自定义的dic文件中配置即可。

5. Rest风格

5.1 简介

RESTful是一种架构的规范与约束、原则，符合这种规范的架构就是RESTful架构。

操作

5.2 测试

1、创建一个索引

PUT /索引名/类型名/id

{

请求体

}

完成了自动添加了索引！数据也成功的添加了。 （类似数据库）

那么name这个字段用不用指定类型呢

指定字段的类型：

获得这个规则！可以通过GET请求获得具体的信息

如果自己不设置文档字段类型，那么es会自动给默认类型  (默认用_doc表示)

2. cat命令

获取健康值

获取所有的信息

GET _cat/indices?v

• 1

还有很多 可以自动展示 都试试

3.修改索引

1.修改我们可以还是用原来的PUT的命令，根据id来修改

但是如果没有填写的字段 会重置为空了 ，相当于java接口传对象修改，如果只是传id的某些字段，那其他没传的值都为空了。

2.还有一种update方法 这种不设置某些值 数据不会丢失 post/_update

POST /test3/_doc/1/_update
{
  "doc":{
    "name":"212121"
  }
}

//下面两种都是会将不修改的值清空的

POST /test3/_doc/1
{
    "name":"212121"
}

POST /test3/_doc/1
{
  "doc":{
    "name":"212121"
  }
}

带doc修改 查询也是带doc的（document）

4.删除索引

关于删除索引或者文档的操作

通过DELETE命令实现删除，根据你的请求来判断是删除索引还是删除文档记录

使用RESTFUL的风格是我们ES推荐大家使用的！

5.3 关于文档的基本操作(重点)

查询

最简单的搜索是GET

搜索功能search

 

复杂操作搜索select（排序，分页，高亮，模糊查询，精准查询）（重要）

//测试只能一个字段查询
GET lisen/user/_search
{
  "query": {
    "match": {
      "name": "李森"
    }
  }
}

结果过滤，就是只展示列表中某些字段 （相当于mysql中的 select * 和 select name,age 的区别）

包含

不包含

排序 (根据age这个字段排，由于有了比较的东西，所以_score为null)

分页  (数据下标还是从0开始的，和以前学的数据结构是一样的)

代码

GET lisen/user/_search
{
  "query": {
    "match": {
      "name": "李森"
    }
  },
  "sort":{
    "age":{
      "order":"asc"
    }
  },
  "from": 0,
  "size": 1
}

多条件查询

布尔值查询

must（and），所有的条件都要符合

should（or）或者   跟数据库一样

must_not（not）

 

条件区间（过滤器）

• gt大于
• gte大于等于
• lte小于
• lte小于等于

匹配多个条件（数组）

match没用倒排索引 这边改正一下

精确查找

term查询是直接通过倒排索引指定的词条进程精确查找的

关于分词

• term，直接查询精确的
• match，会使用分词器解析！（先分析文档，然后通过分析的文档进行查询）

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

默认的是被分词了

keyword没有被分词

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

精确查询多个值

高亮

还能自定义高亮的样式

 

6、springboot集成

6.1 引入依赖包

创建一个springboot的项目 同时勾选上springboot-web的包以及Nosql的elasticsearch的包

如果没有就手动引入

<!--es客户端-->
<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
    <version>7.6.2</version>
</dependency>

<!--springboot的elasticsearch服务-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

注意下spring-boot的parent包内的依赖的es的版本是不是你对应的版本

不是的话就在pom文件下写个properties的版本

<!--这边配置下自己对应的版本-->
<properties>
    <java.version>1.8</java.version>
    <elasticsearch.version>7.6.2</elasticsearch.version>
</properties>

6.2 注入RestHighLevelClient 客户端

@Configuration
public class ElasticSearchClientConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(new HttpHost("127.0.0.1",9200,"http"))
        );
        return client;
    }
}

6.3 索引的增、删、是否存在

//测试索引的创建
@Test
void testCreateIndex() throws IOException {
    //1.创建索引的请求
    CreateIndexRequest request = new CreateIndexRequest("lisen_index");
    //2客户端执行请求，请求后获得响应
    CreateIndexResponse response = client.indices().create(request, RequestOptions.DEFAULT);
    System.out.println(response);
}

//测试索引是否存在
@Test
void testExistIndex() throws IOException {
    //1.创建索引的请求
    GetIndexRequest request = new GetIndexRequest("lisen_index");
    //2客户端执行请求，请求后获得响应
    boolean exist =  client.indices().exists(request, RequestOptions.DEFAULT);
    System.out.println("测试索引是否存在-----"+exist);
}

//删除索引
@Test
void testDeleteIndex() throws IOException {
    DeleteIndexRequest request = new DeleteIndexRequest("lisen_index");
    AcknowledgedResponse delete = client.indices().delete(request,RequestOptions.DEFAULT);
    System.out.println("删除索引--------"+delete.isAcknowledged());
}

6.4 文档的操作

//测试添加文档
    @Test
    void testAddDocument() throws IOException {
        User user = new User("lisen",27);
        IndexRequest request = new IndexRequest("lisen_index");
        request.id("1");
        //设置超时时间
        request.timeout("1s");
        //将数据放到json字符串
        request.source(JSON.toJSONString(user), XContentType.JSON);
        //发送请求
        IndexResponse response = client.index(request,RequestOptions.DEFAULT);
        System.out.println("添加文档-------"+response.toString());
        System.out.println("添加文档-------"+response.status());
//        结果
//        添加文档-------IndexResponse[index=lisen_index,type=_doc,id=1,version=1,result=created,seqNo=0,primaryTerm=1,shards={"total":2,"successful":1,"failed":0}]
//        添加文档-------CREATED
    }

    //测试文档是否存在
    @Test
    void testExistDocument() throws IOException {
        //测试文档的 没有index
        GetRequest request= new GetRequest("lisen_index","1");
        //没有indices()了
        boolean exist = client.exists(request, RequestOptions.DEFAULT);
        System.out.println("测试文档是否存在-----"+exist);
    }

    //测试获取文档
    @Test
    void testGetDocument() throws IOException {
        GetRequest request= new GetRequest("lisen_index","1");
        GetResponse response = client.get(request, RequestOptions.DEFAULT);
        System.out.println("测试获取文档-----"+response.getSourceAsString());
        System.out.println("测试获取文档-----"+response);

//        结果
//        测试获取文档-----{"age":27,"name":"lisen"}
//        测试获取文档-----{"_index":"lisen_index","_type":"_doc","_id":"1","_version":1,"_seq_no":0,"_primary_term":1,"found":true,"_source":{"age":27,"name":"lisen"}}

    }

    //测试修改文档
    @Test
    void testUpdateDocument() throws IOException {
        User user = new User("李逍遥", 55);
        //修改是id为1的
        UpdateRequest request= new UpdateRequest("lisen_index","1");
        request.timeout("1s");
        request.doc(JSON.toJSONString(user),XContentType.JSON);

        UpdateResponse response = client.update(request, RequestOptions.DEFAULT);
        System.out.println("测试修改文档-----"+response);
        System.out.println("测试修改文档-----"+response.status());

//        结果
//        测试修改文档-----UpdateResponse[index=lisen_index,type=_doc,id=1,version=2,seqNo=1,primaryTerm=1,result=updated,shards=ShardInfo{total=2, successful=1, failures=[]}]
//        测试修改文档-----OK

//        被删除的
//        测试获取文档-----null
//        测试获取文档-----{"_index":"lisen_index","_type":"_doc","_id":"1","found":false}
    }


    //测试删除文档
    @Test
    void testDeleteDocument() throws IOException {
        DeleteRequest request= new DeleteRequest("lisen_index","1");
        request.timeout("1s");
        DeleteResponse response = client.delete(request, RequestOptions.DEFAULT);
        System.out.println("测试删除文档------"+response.status());
    }

    //测试批量添加文档
    @Test
    void testBulkAddDocument() throws IOException {
        ArrayList<User> userlist=new ArrayList<User>();
        userlist.add(new User("cyx1",5));
        userlist.add(new User("cyx2",6));
        userlist.add(new User("cyx3",40));
        userlist.add(new User("cyx4",25));
        userlist.add(new User("cyx5",15));
        userlist.add(new User("cyx6",35));

        //批量操作的Request
        BulkRequest request = new BulkRequest();
        request.timeout("1s");

        //批量处理请求
        for (int i = 0; i < userlist.size(); i++) {
            request.add(
                    new IndexRequest("lisen_index")
                            .id(""+(i+1))
                            .source(JSON.toJSONString(userlist.get(i)),XContentType.JSON)
            );
        }
        BulkResponse response = client.bulk(request, RequestOptions.DEFAULT);
        //response.hasFailures()是否是失败的
        System.out.println("测试批量添加文档-----"+response.hasFailures());

//        结果:false为成功 true为失败
//        测试批量添加文档-----false
    }


    //测试查询文档
    @Test
    void testSearchDocument() throws IOException {
        SearchRequest request = new SearchRequest("lisen_index");
        //构建搜索条件
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        //设置了高亮
        sourceBuilder.highlighter();
        //term name为cyx1的
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name", "cyx1");
        sourceBuilder.query(termQueryBuilder);
        sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

        request.source(sourceBuilder);
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);

        System.out.println("测试查询文档-----"+JSON.toJSONString(response.getHits()));
        System.out.println("=====================");
        for (SearchHit documentFields : response.getHits().getHits()) {
            System.out.println("测试查询文档--遍历参数--"+documentFields.getSourceAsMap());
        }

//        测试查询文档-----{"fragment":true,"hits":[{"fields":{},"fragment":false,"highlightFields":{},"id":"1","matchedQueries":[],"primaryTerm":0,"rawSortValues":[],"score":1.8413742,"seqNo":-2,"sortValues":[],"sourceAsMap":{"name":"cyx1","age":5},"sourceAsString":"{\"age\":5,\"name\":\"cyx1\"}","sourceRef":{"fragment":true},"type":"_doc","version":-1}],"maxScore":1.8413742,"totalHits":{"relation":"EQUAL_TO","value":1}}
//        =====================
//        测试查询文档--遍历参数--{name=cyx1, age=5}
    }