es相关复习

ES
b站学习es相关的知识点，复习一下
视频地址：https://www.bilibili.com/video/BV1hh411D7sb

第二章

映射数据说明：

字段名：任意填写，下面指定许多属性，例如：title、subtitle、images、price  type：

类型，Elasticsearch 中支持的数据类型非常丰富，说几个关键的：

String 类型，又分两种：

​ text：可分词

​ keyword：不可分词，数据会作为完整字段进行匹配

Numerical：数值类型，分两类

​ 基本数据类型：long、integer、short、byte、double、float、half_float

​ 浮点数的高精度类型：scaled_float

Date：日期类型

Array：数组类型

Object：对象

index：是否索引，默认为 true，也就是说你不进行任何配置，所有字段都会被索引。

​ true：字段会被索引，则可以用来进行搜索

​ false：字段不会被索引，不能用来搜索

store：是否将数据进行独立存储，默认为 false

​ 原始的文本会存储在_source 里面，默认情况下其他提取出来的字段都不是独立存储 的，是从_source 里面提取出来的。当然你也可以独立的存储某个字 段，只要设置 “store”: true 即可，获取独立存储的字段要比从_source 中解析快得多，但是也会占用 更多的空间，所以要根据实际业务需求来设置。

analyzer：分词器，这里的 ik_max_word 即使用 ik 分词器,后面会有专门的章节学习

高级查询

匹配查询

match_all：全类查询

match：匹配类型查询，会把查询条件进行***分词***，然后进行查询，多个词条之间是 or 的关系

multi_match： 与 match 类似，不同的是它可以在多个字段中查询。

关键字精确查询：

term ：term查询，精确的关键词匹配查询，不对查询条件进行分词。

terms 查询和 term 查询一样，但它允许你指定多值进行匹配。 如果这个字段包含了指定值中的任何一个值，那么这个文档满足条件，类似于 mysql 的 in

指定查询字段

_source 过滤:

默认情况下，Elasticsearch 在搜索的结果中，会把文档中保存在_source 的所有字段都返回。 如果我们只想获取其中的部分字段，我们可以添加_source 的过滤

{
 "_source": ["name","nickname"], 
 "query": {
 "terms": {
 "nickname": ["zhangsan"]
 }
 }
}

过滤字段

includes：来指定想要显示的字段

excludes：来指定不想要显示的字段

{
 "_source": {
 "includes": ["name","nickname"]
 }, 
 "query": {
 "terms": {
 "nickname": ["zhangsan"]
 }
 }
}

组合查询

bool把各种其它查询通过must（必须 ）、must_not（必须不）、should（应该）的方 式进行组合,注意组合内部的写法must_not ,should [{ }]

{
    "query":{
        "bool":{
            "must":{
                "match":{
                    "name":"zhangsan"
                }
            },
            "must_not":[
                {
                    "match":{
                    "age":"40"
                }
                }
            ],
            "should":[
                {
                    "match":{
                    "sex":"男"
                }
                }
            ]
        }
    }
}

范围查询

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2IiDEUZF-1629942862298)(C:\Users\chenleics\AppData\Roaming\Typora\typora-user-images\image-20210706095159461.png)]

模糊查询

fuzzy 查询

为了找到相似的术语，fuzzy 查询会在指定的编辑距离内创建一组搜索词的所有可能的变体 或扩展。然后查询返回每个扩展的完全匹配。 通过 fuzziness 修改编辑距离。一般使用默认值 AUTO，根据术语的长度生成编辑距离。

排序

单字段排序：

sort 可以让我们按照不同的字段进行排序，并且通过 order 指定排序的方式。desc 降序，asc 升序

多字段排序：

{
     "query": {
     "match_all": {}
     },
     "sort": [
      {
         "age": {
         "order": "desc"
         }
         },
         {
         "_score":{
         "order": "desc"
         }
      }
     ]
}

高亮查询

Elasticsearch 可以对查询内容中的关键字部分，进行标签和样式(高亮)的设置。

在使用 match 查询的同时，加上一个 highlight 属性： pre_tags：前置标签  post_tags：后置标签  fields：需要高亮的字段  title：这里声明 title 字段需要高亮，后面可以为这个字段设置特有配置，也可以空

{
    "query": {
        "match": {
         "name":"zhangsan"
        }
    },
    "highlight":{
        "pre_tags":"<font color='red'>",
        "post_tags":"</font>",
        "fields":{
            "name":{}
        }
    }
}

分页查询

from：当前页的起始索引，默认从 0 开始。 from = (pageNum - 1) * size size：每页显示多少条

聚合查询

聚合允许使用者对 es 文档进行统计分析，类似与关系型数据库中的 group by，当然还有很 多其他的聚合，例如取最大值、平均值等等。

关键字"aggs":相当于之前在query

对某个字段取最大值 max

{
     "aggs":{
         "max_age":{
         "max":{"field":"age"}
         }
     },
     "size":0
}

对某个字段取最小值 min

{
     "aggs":{
         "min_age":{
         "min":{"field":"age"}
         }
     },
     "size":0
}

对某个字段求和 sum

{
     "aggs":{
         "sum_age":{
         "sum":{"field":"age"}
         }
     },
     "size":0
}

对某个字段取平均值 avg

{
     "aggs":{
         "avg_age":{
         "avg":{"field":"age"}
         }
     },
     "size":0
}

对某个字段的值进行去重之后再取总数

{
 "aggs":{
     "distinct_age":{
     "cardinality":{"field":"age"}
     }
 },
 "size":0
}

State 聚合

stats 聚合，对某个字段一次性返回 count，max，min，avg 和 sum 五个指标

{
	"aggs":{
        "state_age":{
            "stats":{"fields":"age"}
        }
    }
    "size":0
}

桶聚合查询

桶聚和相当于 sql 中的 group by 语句

terms 聚合，分组统计

{
     "aggs":{
         "age_groupby":{
             "terms":{"field":"age"}
         }
     },
     "size":0
}

在 terms 分组下再进行聚合

Java API 操作

1.客户端对象

// 创建客户端对象
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
...
// 关闭客户端连接
client.close();
//注意：9200 端口为 Elasticsearch 的 Web 通信端口，localhost 为启动 ES 服务的主机名

2.索引操作

不同的索引操作对应不同的索引request

1.创建索引

 //创建索引
        CreateIndexRequest request = new CreateIndexRequest("user");
        CreateIndexResponse response = esClient.indices().create(request, RequestOptions.DEFAULT);

        //响应状态
        boolean acknowledged = response.isAcknowledged();
        System.out.println("索引操作："+acknowledged);

2.查看索引：

 // 查询索引  
        GetIndexRequest request = new GetIndexRequest("user");

        GetIndexResponse getIndexResponse =
                esClient.indices().get(request, RequestOptions.DEFAULT);

        // 响应状态
        System.out.println(getIndexResponse.getAliases());
        System.out.println(getIndexResponse.getMappings());
        System.out.println(getIndexResponse.getSettings());

3.删除索引

// 删除索引 - 请求对象
DeleteIndexRequest request = new DeleteIndexRequest("user");
// 发送请求，获取响应
AcknowledgedResponse response = client.indices().delete(request, 
RequestOptions.DEFAULT);
// 操作结果
System.out.println("操作结果 ： " + response.isAcknowledged());

3.文档操作

1.插入

public class ESTest_Doc_Insert {
    public static void main(String[] args) throws IOException {
        RestHighLevelClient es = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
        //前面已经创建过索引了，这里直接使用，往里面加数据就好
        IndexRequest request = new IndexRequest();
        request.index("user").id("1001");
        //准备数据
        User user = new User();
        user.setName("zhangsan");
        user.setAge(30);
        user.setSex("男");
        //向es添加数据，必须将数据转换成json格式
        ObjectMapper mapper = new ObjectMapper();
        String userJson = mapper.writeValueAsString(user);
        request.source(userJson , XContentType.JSON);

        IndexResponse response = es.index(request, RequestOptions.DEFAULT);
        System.out.println(response.getResult());
        es.close();

    }
}

2.修改文档

public class ESTest_Doc_Update {
    public static void main(String[] args) throws IOException {
        RestHighLevelClient es = new
                RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
        //修改数据，修改文档，请求对象
        UpdateRequest request  = new UpdateRequest();
        //配置修改数据
        request.index("user").id("1001");
        //设置请求体，对数据进行修改
        request.doc(XContentType.JSON ,"sex","女");
        //客户端发送请求，获取响应对象
        UpdateResponse response  = es.update(request, RequestOptions.DEFAULT);
        System.out.println("_index:" + response.getIndex());
        System.out.println("_id:" + response.getId());
        System.out.println("_result:" + response.getResult());
    }
}

3.查询文档

public class ESTest_Doc_Get {
    public static void main(String[] args) throws IOException {
        RestHighLevelClient es = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost" , 9200,"http")));
        //查询数据
        GetRequest request = new GetRequest();
        request.index("user").id("1001");
        //客户端发送请求，获取响应对象
        GetResponse response = es.get(request , RequestOptions.DEFAULT);
        3.打印结果信息
        System.out.println("_index:" + response.getIndex());
        System.out.println("_type:" + response.getType());
        System.out.println("_id:" + response.getId());
        System.out.println("source:" + response.getSourceAsString());
    }
}

4.删除文档

public class ESTest_Doc_Delete {
    public static void main(String[] args) throws IOException {
        RestHighLevelClient es = new RestHighLevelClient( RestClient.builder(new HttpHost("localhost" , 9200 , "http")));
        DeleteRequest request = new DeleteRequest();
        request.index("user").id("1001");
        DeleteResponse response = es.delete(request , RequestOptions.DEFAULT);
        System.out.println(response.toString());
        es.close();
    }
}

5.批量操作

5.1：批量新增

public class ESTest_Doc_Insert_Batch {
    public static void main(String[] args) throws IOException {
        RestHighLevelClient esClient = new RestHighLevelClient(
                RestClient.builder(new HttpHost("localhost", 9200, "http")));

        //批量*********************************
        BulkRequest request = new BulkRequest();

        request.add(new IndexRequest().index("user").id("1002").source(XContentType.JSON, "name", "lisi", "age",30,"sex","女"));
        request.add(new IndexRequest().index("user").id("1003").source(XContentType.JSON, "name", "wangwu", "age",40,"sex","男"));
        request.add(new IndexRequest().index("user").id("1004").source(XContentType.JSON, "name", "wangwu1", "age",40,"sex","女"));
        request.add(new IndexRequest().index("user").id("1005").source(XContentType.JSON, "name", "wangwu2", "age",50,"sex","男"));
        request.add(new IndexRequest().index("user").id("1006").source(XContentType.JSON, "name", "wangwu3", "age",50,"sex","男"));
        request.add(new IndexRequest().index("user").id("1007").source(XContentType.JSON, "name", "wangwu44", "age",60,"sex","男"));
        request.add(new IndexRequest().index("user").id("1008").source(XContentType.JSON, "name", "wangwu555", "age",60,"sex","男"));
        request.add(new IndexRequest().index("user").id("1009").source(XContentType.JSON, "name", "wangwu66666", "age",60,"sex","男"));

        BulkResponse responses = esClient.bulk(request, RequestOptions.DEFAULT);
        //打印结果信息
        System.out.println("took:" + responses.getTook());
        System.out.println("items:" + responses.getItems());
    }
}

5.2批量删除

public class ESTest_Doc_Delete_Batch {
    public static void main(String[] args) throws Exception {

        RestHighLevelClient esClient = new RestHighLevelClient(
                RestClient.builder(new HttpHost("localhost", 9200, "http"))
        );

        // 批量删除数据
        BulkRequest request = new BulkRequest();

        request.add(new DeleteRequest().index("user").id("1001"));
        request.add(new DeleteRequest().index("user").id("1002"));
        request.add(new DeleteRequest().index("user").id("1003"));

        BulkResponse response = esClient.bulk(request, RequestOptions.DEFAULT);
        System.out.println(response.getTook());
        System.out.println(response.getItems());

        esClient.close();
    }
}

4.高级查询

4.1：请求体查询

4.1.1查询所有索引数据

public class SearchRequestDemo {
    public static void main(String[] args) throws IOException {
        RestHighLevelClient esClient = new RestHighLevelClient(
                RestClient.builder(new HttpHost("localhost", 9200, "http")));
        SearchRequest request = new SearchRequest();
        request.indices("student");
        //构建查询的请求体
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        //查询所有数据
        sourceBuilder.query(QueryBuilders.matchAllQuery());
        request.source(sourceBuilder);

        SearchResponse response = esClient.search(request, RequestOptions.DEFAULT);
        //查询匹配
        SearchHits hits= response.getHits();
        System.out.println("tooks:"+response.getTook());
        System.out.println("timeout:" + response.isTimedOut());
        System.out.println("total:" + hits.getTotalHits());
        System.out.println("MaxScore:" + hits.getMaxScore());
        for (SearchHit hit : hits) {
            //输出每条查询的结果信息
            System.out.println(hit.getSourceAsString());
        }
        System.out.println("<<========");

    }
}

4.1.2： term 查询，查询条件为关键字

public class SearchRequestTermDemo {
    public static void main(String[] args) throws IOException {
        RestHighLevelClient esClient = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
        //1.先有request ， 在往里添东西
        SearchRequest request = new SearchRequest();
        request.indices("student");

        //2.构建查询的请求体
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        sourceBuilder.query(QueryBuilders.termQuery("age",30));
        //3.请求体加入到请求中去
        request.source(sourceBuilder);
        SearchResponse response = esClient.search(request , RequestOptions.DEFAULT);
        // 查询匹配
        SearchHits hits = response.getHits();
        System.out.println("took:" + response.getTook());
        System.out.println("timeout:" + response.isTimedOut());
        System.out.println("total:" + hits.getTotalHits());
        System.out.println("MaxScore:" + hits.getMaxScore());
        System.out.println("hits========>>");
        for (SearchHit hit : hits) {
        //输出每条查询的结果信息
            System.out.println(hit.getSourceAsString());
        }
        System.out.println("<<========");
        esClient.close();
    }
}

4.1.3:分页查询

public class SearchRequestFenyeDemo {
    public static void main(String[] args) throws IOException {
        RestHighLevelClient esClient = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
        //1.先有request ， 在往里添东西
        SearchRequest request = new SearchRequest();
        request.indices("student");
		//2.构建查询的请求体
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        sourceBuilder.query(QueryBuilders.matchAllQuery());
        //分页，当前页起始索引， from
        sourceBuilder.from(0);
        //每页显示多少条size
        sourceBuilder.size(2);
		//3.请求体加入到请求中去
        request.source(sourceBuilder);
        SearchResponse response = esClient.search(request , RequestOptions.DEFAULT);
        SearchHits hits = response.getHits();
        System.out.println("took:" + response.getTook());
        System.out.println("timeout:" + response.isTimedOut());
        System.out.println("total:" + hits.getTotalHits());
        System.out.println("MaxScore:" + hits.getMaxScore());
        System.out.println("hits========>>");
        for (SearchHit hit : hits) {
        //输出每条查询的结果信息
            System.out.println(hit.getSourceAsString());
        }
        System.out.println("<<========");
    }
}

4.1.4:数据排序

public class SearchRequestFenyeDemo {
    public static void main(String[] args) throws IOException {
        RestHighLevelClient esClient = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
        //1.先有request ， 在往里添东西
        SearchRequest request = new SearchRequest();
        request.indices("student");
		//2.构建查询的请求体
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        sourceBuilder.query(QueryBuilders.matchAllQuery());
        
        //排序
	    sourceBuilder.sort("age", SortOrder.ASC)
        
		//3.请求体加入到请求中去
        request.source(sourceBuilder);
        SearchResponse response = esClient.search(request , RequestOptions.DEFAULT);
        SearchHits hits = response.getHits();
        System.out.println("took:" + response.getTook());
        System.out.println("timeout:" + response.isTimedOut());
        System.out.println("total:" + hits.getTotalHits());
        System.out.println("MaxScore:" + hits.getMaxScore());
        System.out.println("hits========>>");
        for (SearchHit hit : hits) {
        //输出每条查询的结果信息
            System.out.println(hit.getSourceAsString());
        }
        System.out.println("<<========");
    }
}

4.1.5: 过滤字段

//为了节省时间，只写SearchSourchBuilder中的内容
//新增：fetchSource
//查询字段过滤
        String[]exclude = {};
        String[]include = {"name","age"};
        sourceBuilder.fetchSource(include,exclude);

4.1.6: Bool 查询

public class SearchRequestFenyeDemo {
    public static void main(String[] args) throws IOException {
        RestHighLevelClient esClient = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
        //1.先有request ， 在往里添东西
        SearchRequest request = new SearchRequest();
        request.indices("student");
		//2.构建查询的请求体
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        
        
       //同时在创建一个bool查询
        BoolQueryBuilder boolQueryBuilder = new BoolQueryBuilder();
        //写一点bool查询内部的东西
        boolQueryBuilder.must(QueryBuilders.matchQuery("age" , "30"));
        boolQueryBuilder.mustNot(QueryBuilders.matchQuery("name","zhangsan"));
        boolQueryBuilder.should(QueryBuilders.matchQuery("sex","男"));

        sourceBuilder.query(boolQueryBuilder);
		//3.请求体加入到请求中去
        request.source(sourceBuilder);
        SearchResponse response = esClient.search(request , RequestOptions.DEFAULT);
        SearchHits hits = response.getHits();
        System.out.println("took:" + response.getTook());
        System.out.println("timeout:" + response.isTimedOut());
        System.out.println("total:" + hits.getTotalHits());
        System.out.println("MaxScore:" + hits.getMaxScore());
        System.out.println("hits========>>");
        for (SearchHit hit : hits) {
        //输出每条查询的结果信息
            System.out.println(hit.getSourceAsString());
        }
        System.out.println("<<========");
    }
}

4.1.7: 范围查询

		//2.构建查询的请求体
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        
        RangeQueryBuilder rangeQueryBuilder = QueryBuilders.rangeQuery("age");
        rangeQueryBuilder.gte("30");
        rangeQueryBuilder.lt("40");

        sourceBuilder.query(rangeQueryBuilder);
		//3.请求体加入到请求中去
        request.source(sourceBuilder);

4.1.8:模糊查询

	//2.构建查询的请求体
    SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
    
	sourceBuilder.query(QueryBuilders.fuzzyQuery("name","zhangsan").fuzziness(Fuzziness.ONE));

	//3.请求体加入到请求中去
    request.source(sourceBuilder);

4.2:高亮查询

	//2.构建查询的请求体
    SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

	//高亮
    TermsQueryBuilder termsQueryBuilder = QueryBuilders.termsQuery("name","zhangsan");
    sourceBuilder.query(termsQueryBuilder);;

	//3.请求体加入到请求中去
    request.source(sourceBuilder);

4.3 聚合查询

4.3.1: 最大年龄

	//2.构建查询的请求体
    SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

	//最大年龄
    sourceBuilder.aggregation(AggregationBuilders.max("maxAge").field("age"));

	//3.请求体加入到请求中去
    request.source(sourceBuilder);

4.3.2:分组统计

		//分组统计
        sourceBuilder.aggregation(AggregationBuilders.terms("age_groupBy").field("age"));

第三章： Elasticsearch 环境

3.1：单机和集群：

1.单机的问题：

1.单台机器存储容量有限

2.单服务器容易出现单点故障，无法实现高可用

3.单服务的并发处理能力有限

2.集群

一个 Elasticsearch 集群有一个唯一的名字标识，这个名字默认就 是”elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入 这个集群。

3.节点

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点 都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了 若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做 “elasticsearch”的集群中。

3.2 Windows 集群

第四章 Elasticsearch 进阶

4.1 核心概念

4.1.1：索引：一个索引就是一个拥有几分相似特征的文档的集合。

能搜索的数据必须索引，这样的好处是可以提高查询速度，比如：新华字典前面的目录 就是索引的意思，目录可以提高查询速度。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cfUpHa3w-1629942862302)(C:\Users\chenleics\AppData\Roaming\Typora\typora-user-images\image-20210707143313179.png)]

映射（Mapping）：

mapping 是处理数据的方式和规则方面做一些限制，如：某个字段的数据类型、默认值、 分析器、是否被索引等等。

**分片（Shards）：**重要！！！

一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有 10 亿文档数据 的索引占据 1TB 的磁盘空间，而任一节点都可能没有这样大的磁盘空间。或者单个节点处 理搜索请求，响应太慢。为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力， 每一份就称之为分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分 片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点 上。

分片很重要，主要有两方面的原因：

1）允许你水平分割 / 扩展你的内容容量。

2）允许你在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量。

​ 至于一个分片怎样分布，它的文档怎样聚合和搜索请求，是完全由 Elasticsearch 管理的， 对于作为用户的你来说，这些都是透明的，无需过分关心。 被混淆的概念是，一个 Lucene 索引 我们在 Elasticsearch 称作 分片 。 一个 Elasticsearch 索引 是分片的集合。 当 Elasticsearch 在索引中搜索的时候， 他发送查询 到每一个属于索引的分片(Lucene 索引)，然后合并每个分片的结果到一个全局的结果集。

副本（Replicas）：

在一个网络 / 云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于 离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是 强烈推荐的。为此目的，Elasticsearch 允许你创建分片的一份或多份拷贝，这些拷贝叫做复 制分片(副本)。

复制分片之所以重要，有两个主要原因：

1.在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与 原/主要（original/primary）分片置于同一节点上是非常重要的。

2.扩展你的搜索量/吞吐量，因为搜索可以在所有的副本上并行运行。

​ 总之，每个索引可以被分成多个分片。一个索引也可以被复制 0 次（意思是没有复制） 或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主 分片的拷贝）之别。

分配（Allocation）：

将分片分配给某个节点的过程，包括分配主分片或者副本。如果是副本，还包含从主分 片复制数据的过程。这个过程是由 master 节点完成的。

4.2分布式集群

4.2.1 单节点集群

4.3.2 故障转移

​ 当集群中只有一个节点在运行时，意味着会有一个单点故障问题——没有冗余。

​ 幸运 的是，我们只需再启动一个节点即可防止数据丢失。当你在同一台机器上启动了第二个节点 时，只要它和第一个节点有同样的 cluster.name 配置，它就会自动发现集群并加入到其中。

	但是在不同机器上启动节点的时候，为了加入到同一集群，你需要配置一个可连接到的单播 主机列表。之所以配置为使用单播发现，以防止节点无意中加入集群。只有在同一台机器上 运行的节点才会自动组成集群。 如果启动了第二个节点，我们的集群将会拥有两个节点的集群 : 所有主分片和副本分 片都已被分配

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cVTeVkMU-1629942862303)(C:\Users\chenleics\AppData\Roaming\Typora\typora-user-images\image-20210707150423326.png)]

问题：节点启动，但是副本没有分配

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w9EYXhY2-1629942862305)(C:\Users\chenleics\AppData\Roaming\Typora\typora-user-images\image-20210707153245609.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CDBiiXB3-1629942862306)(C:\Users\chenleics\AppData\Roaming\Typora\typora-user-images\image-20210707155758917.png)]

配置文件加了：

cluster.routing.allocation.disk.threshold_enabled: false

1. cluster.routing.allocation.disk.threshold_enabled
   默认是true,如果设置为false的时候在进行shard allocation的时候就不会考虑磁盘的因素。
   Defaults to true. Set to false to disable the disk allocation decider.
   ————————————————
   版权声明：本文为CSDN博主「夜月行者」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
   原文链接：https://blog.csdn.net/u013200380/article/details/109285071

4.3.3 水平扩容

怎样为我们的正在增长中的应用程序按需扩容呢？当启动了第三个节点，我们的集群将 会拥有三个节点的集群 : 为了分散负载而对分片进行重新分配

分片是一个功能完整的搜索引擎，它拥有使用一个节点上的所有资源的能力。 我们这个拥有 6 个分 片（3 个主分片和 3 个副本分片）的索引可以最大扩容到 6 个节点，每个节点上存在一个分片，并且每个 分片拥有所在节点的全部资源,

三个节点宕掉一个后，会立即推选master,node1再次重启后不是master

4.4 路由计算

当索引一个文档的时候，文档会被存储到一个主分片中。 Elasticsearch 如何知道一个 文档应该存放到哪个分片中呢？当我们创建文档时，它如何决定这个文档应当被存储在分片 1 还是分片 2 中呢？首先这肯定不会是随机的，否则将来要获取文档的时候我们就不知道 从何处寻找了。实际上，这个过程是根据下面这个公式决定的：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0NHn09Oa-1629942862307)(C:\Users\chenleics\AppData\Roaming\Typora\typora-user-images\image-20210707161258691.png)]

routing 是一个可变值，默认是文档的 _id ，也可以设置成一个自定义的值。 routing 通过 hash 函数生成一个数字，然后这个数字再除以 number_of_primary_shards （主分片的数量）后得到余数 。这个分布在 0 到 number_of_primary_shards-1 之间的余数，就是我们所寻求 的文档所在分片的位置。

​ 这就解释了为什么我们要在创建索引的时候就确定好主分片的数量 并且永远不会改变 这个数量：因为如果数量变化了，那么所有之前路由的值都会无效，文档也再也找不到了。

​ 所有的文档 API（ get 、 index 、 delete 、 bulk 、 update 以及 mget ）都接受一 个叫做 routing 的路由参数 ，通过这个参数我们可以自定义文档到分片的映射。一个自定 义的路由参数可以用来确保所有相关的文档——例如所有属于同一个用户的文档——都被 存储到同一个分片中。

4.5 分片控制

我们假设有一个集群由三个节点组成。 它包含一个叫 emps 的索引，有两个主分片， 每个主分片有两个副本分片。相同分片的副本不会放在同一节点。

将 所有的请求发送到 Node 1，我们将其称为 协调节点(coordinating node) 。

当发送请求的时候， 为了扩展负载，更好的做法是轮询集群中所有的节点。

4.5.1 写流程

新建、索引和删除 请求都是 写 操作， 必须在主分片上面完成之后才能被复制到相关 的副本分片

新建，索引和删除文档所需要的步骤顺序：

1. 客户端向 Node 1 发送新建、索引或者删除请求。
2. 节点使用文档的 _id 确定文档属于分片 0 。请求会被转发到 Node 3，因为分片 0 的 主分片目前被分配在 Node 3 上。
3. Node 3 在主分片上面执行请求。如果成功了，它将请求并行转发到 Node 1 和 Node 2 的副本分片上。一旦所有的副本分片都报告成功, Node 3 将向协调节点报告成功，协调 节点向客户端报告成功。

在客户端收到成功响应时，文档变更已经在主分片和所有副本分片执行完成，变更是安全的。 有一些可选的请求参数允许您影响这个过程，可能以数据安全为代价提升性能。

新索引默认有 1 个副本分片，这意味着为满足规定数量应该需要两个活动的分片副本。 但是，这些 默认的设置会阻止我们在单一节点上做任何事情。为了避免这个问题，要求只有当 number_of_replicas 大 于 1 的时候，规定数量才会执行。

4.5.2 读流程

我们可以从主分片或者从其它任意副本分片检索文档

从主分片或者副本分片检索文档的步骤顺序：

1. 客户端向 Node 1 发送获取请求。

2. 节点使用文档的 _id 来确定文档属于分片 0 。分片 0 的副本分片存在于所有的三个 节点上。 在这种情况下，它将请求转发到 Node 2 。

3. Node 2 将文档返回给 Node 1 ，然后将文档返回给客户端。

在处理读取请求时，协调结点在每次请求的时候都会通过轮询所有的副本分片来达到负载均 衡。在文档被检索时，已经被索引的文档可能已经存在于主分片上但是还没有复制到副本分 片。 在这种情况下，副本分片可能会报告文档不存在，但是主分片可能成功返回文档。 一 旦索引请求成功返回给用户，文档在主分片和副本分片都是可用的。

4.5.3 更新流程

部分更新一个文档的步骤如下：

1. 客户端向 Node 1 发送更新请求。

2. 它将请求转发到主分片所在的 Node 3 。

3. Node 3 从主分片检索文档，修改 _source 字段中的 JSON ，并且尝试重新索引主分片 的文档。如果文档已经被另一个进程修改，它会重试步骤 3 ，超过 retry_on_conflict 次 后放弃。 4. 如果 Node 3 成功地更新文档，它将新版本的文档并行转发到 Node 1 和 Node 2 上的 副本分片，重新建立索引。一旦所有副本分片都返回成功， Node 3 向协调节点也返回 成功，协调节点向客户端返回成功。

   当主分片把更改转发到副本分片时， 它不会转发更新请求。 相反，它转发完整文档的新版本。请记住， 这些更改将会异步转发到副本分片，并且不能保证它们以发送它们相同的顺序到达。 如果 Elasticsearch 仅 转发更改请求，则可能以错误的顺序应用更改，导致得到损坏的文档。

4.5.4 多文档操作流程

mget 和 bulk API 的模式类似于**单文档模式。**区别在于协调节点知道每个文档存在于 哪个分片中。它将整个多文档请求分解成 每个分片 的多文档请求，并且将这些请求并行转 发到每个参与节点。

协调节点一旦收到来自每个节点的应答，就将每个节点的响应收集整理成单个响应，返 回给客户端

1>.用单个 mget 请求取回多个文档所需的步骤顺序:

1. 客户端向 Node 1 发送 mget 请求。
2. Node 1 为每个分片构建多文档获取请求，然后并行转发这些请求到托管在每个所需的 主分片或者副本分片的节点上。一旦收到所有答复， Node 1 构建响应并将其返回给客 户端。 可以对 docs 数组中每个文档设置 routing 参数。

2>.bulk API， 允许在单个批量请求中执行多个创建、索引、删除和更新请求。

1. 客户端向 Node 1 发送 bulk 请求。 
2.  Node 1 为每个节点创建一个批量请求，并将这些请求**并行转发**到每个包含主分片的节 点主机。 
3.  主分片一个接一个按顺序执行每个操作。当每个操作成功时，主分片并行转发新文档（或 删除）到副本分片，然后执行下一个操作。 一旦所有的副本分片报告所有操作成功， 该节点将向协调节点报告成功，协调节点将这些响应收集整理并返回给客户端。

4.6 分片原理

4.6.1 倒排索引

Elasticsearch 使用一种称为倒排索引的结构，它适用于快速的全文搜索。

所谓的正向索引，就是搜索引擎会将待搜索的文件都对应一个文件 ID，搜索时将这个 ID 和搜索关键字进行对应，形成 K-V 对，然后对关键字进行统计计数.

但是互联网上收录在搜索引擎中的文档的数目是个天文数字，这样的索引结构根本无法满足 实时返回排名结果的要求。

所以，搜索引擎会将正向索引重新构建为倒排索引，即把文件 ID对应到关键词的映射转换为关键词到文件ID的映射，每个关键词都对应着一系列的文件， 这些文件中都出现这个关键词。

4.6.2 文档搜索

一旦 新的索引就绪，旧的就会被其替换，这样最近的变化便可以被检索到。倒排索引被写入磁盘后是 不可改变 的:它永远不会修改。 不变性有重要的价值：

1.不需要锁。如果你从来不更新索引，你就不需要担心多进程同时修改数据的问题。

2.一旦索引被读入内核的文件系统缓存，便会留在哪里，由于其不变性。只要文件系统缓存中还有足够 的空间，那么大部分读请求会直接请求内存，而不会命中磁盘。这提供了很大的性能提升。

3.其它缓存(像 filter 缓存)，在索引的生命周期内始终有效。它们不需要在每次数据改变时被重建，因为 数据不会变化。

4.写入单个大的倒排索引允许数据被压缩，减少磁盘 I/O 和 需要被缓存到内存的索引的使用量。

​ 当然，一个不变的索引也有不好的地方。主要事实是它是不可变的! 你不能修改它。**如果你需要让一个新的文档 可被搜索，你需要重建整个索引。**这要么对一个索引所能包含的 数据量造成了很大的限制，要么对索引可被更新的频率造成了很大的限制。

4.6.3 动态更新索引

如何在保留不变性的前提下实现倒排索引的更新？

答案是: **用更多的索引。通过增加新的补充索引来反映新近的修改，而不是直接重写整 个倒排索引。**每一个倒排索引都会被轮流查询到，从最早的开始查询完后再对结果进行合并。

Elasticsearch 基于 Lucene, 这个 java 库引入了按段搜索的概念。还增加了提交点的概念 — 一 个列出了所有已知段的文件。

按段搜索会以如下流程执行：

1. 新文档被收集到内存索引缓存

2. 不时地, 缓存被 提交

   (1) 一个新的段—一个追加的倒排索引—被写入磁盘。

   (2) 一个新的包含新段名字的 提交点 被写入磁盘

   (3) 磁盘进行同步 — 所有在文件系统缓存中等待的写入都刷新到磁盘，以确保它们 被写入物理文件

3. 新的段被开启，让它包含的文档可见以被搜索

4. 内存缓存被清空，等待接收新的文档

​ 段是不可改变的，所以既不能从把文档从旧的段中移除，也不能修改旧的段来进行反映文档 的更新。 取而代之的是，每个提交点会包含一个 .del 文件，文件中会列出这些被删除文档 的段信息。 当一个文档被 “删除” 时，它实际上只是在 .del 文件中被 标记 删除。一个被标记删除的文档仍然可以被查询匹配到， 但它会在最终结果被返回前从结果集中移除。文档更新也是类似的操作方式：当一个文档被更新时，旧版本文档被标记删除，文档的新版 本被索引到一个新的段中。 可能两个版本的文档都会被一个查询匹配到，但被删除的那个 旧版本文档在结果集返回前就已经被移除。

4.6.4 近实时搜索

​ 在内存索引缓 冲区中的文档会被写入到一个新的段中。 但是这里新段会被先写入到文件系统缓存—这一 步代价会比较低，稍后再被刷新到磁盘—这一步代价比较高。不过只要文件已经在缓存中， 就可以像其它文件一样被打开和读取了。

​ Lucene 允许新段被写入和打开—使其包含的文档在未进行一次完整提交时便对搜索可见。

​ 在 Elasticsearch 中，写入和打开一个新段的轻量的过程叫做 refresh 。 默认情况下每个分 片会每秒自动刷新一次。这就是为什么我们说 Elasticsearch 是 近 实时搜索: 文档的变化 并不是立即对搜索可见，但会在一秒之内变为可见。

并不是所有的情况都需要每秒刷新：

可能你正在使用 Elasticsearch 索引大量的日志文件， 你可能想优化索引速度而不是近实时搜索， 可以通过设置 refresh_interval ， 降低每个索 引的刷新频率

{
 "settings": {
 "refresh_interval": "30s" 
 }
}

4.6.5 持久化变更

​ 如果没有用 fsync 把数据从文件系统缓存刷（flush）到硬盘，我们不能保证数据在断 电甚至是程序正常退出之后依然存在。

​ 为了保证 Elasticsearch 的可靠性，需要确保数据变 化被持久化到磁盘。

​ 即使通过每秒刷新（refresh）实现了近实时搜索，我们仍然需要经常进行完整提交来确 保能从失败中恢复。但在两次提交之间发生变化的文档怎么办？我们也不希望丢失掉这些数 据。Elasticsearch 增加了一个 translog ，或者叫事务日志，在每一次对 Elasticsearch 进行 操作时均进行了日志记录

整个流程如下：

1. 一个文档被索引之后，就会被添加到内存缓冲区，并且追加到了 translog

2. 刷新（refresh）使分片每秒被刷新（refresh）一次：

   1. 这些在内存缓冲区的文档被写入到一个新的段中，且没有进行 fsync 操作。
   2. 这个段被打开，使其可被搜索
   3. 内存缓冲区被清空

3. 这个进程继续工作，更多的文档被添加到内存缓冲区和追加到事务日志

4. 每隔一段时间—例如 translog 变得越来越大—索引被刷新（flush）；一个新的 translog 被创建，并且一个全量提交被执行

   1.所有在内存缓冲区的文档都被写入一个新的段。

   2.缓冲区被清空。

   3.一个提交点被写入硬盘。

   4.文件系统缓存通过 fsync 被刷新（flush）。

   5.老的 translog 被删除。

translog 提供所有还没有被刷到磁盘的操作的一个持久化纪录。当 Elasticsearch 启动的时 候， 它会从磁盘中使用最后一个提交点去恢复已知的段，并且会重放 translog 中所有在最 后一次提交后发生的变更操作。

执行一个提交并且截断 translog 的行为在 Elasticsearch 被称作一次 flush

分片每 30 分钟被自动刷新**（flush）**，或者在 translog 太大的时候也会刷新

​ 重启节点或关闭索引之前执行 flush 有益于你的索引。当 Elasticsearch 尝试恢复或重新打 开一个索引， 它需要重放 translog 中所有的操作，所以如果日志越短，恢复越快。

4.6.6 段合并

由于自动刷新流程每秒会创建一个新的段 ，这样会导致短时间内的段数量暴增。而段 数目太多会带来较大的麻烦。

Elasticsearch 通过在后台进行段合并来解决这个问题。小的段被合并到大的段，然后这些大 的段再被合并到更大的段。

启动段合并不需要你做任何事。进行索引和搜索时会自动进行。

1. 当索引的时候，刷新（refresh）操作会创建新的段并将段打开以供搜索使用。

2. 合并进程选择一小部分大小相似的段，并且在后台将它们合并到更大的段中。这并不会 中断索引和搜索

3. 一旦合并结束，老的段被删除

   1.新的段被刷新（flush）到了磁盘。 ** 写入一个包含新段且排除旧的和较小的段 的新提交点。

   2…新的段被打开用来搜索,老的段被删除。

4.7 文档分析

分析 包含下面的过程：

1.将一块文本分成适合于倒排索引的独立的 词条

2.将这些词条统一化为标准格式以提高它们的“可搜索性”，或者 recall

分析器实际上是将三个功能封装到了一个包里：

​ 1>.字符过滤器

​ 首先，字符串按顺序通过每个字符过滤器 。他们的任务是在分词前整理字符串。一个 字符过滤器可以用来去掉 HTML，或者将 & 转化成 and。

​ 2>.分词器

​ 其次，字符串被 分词器 分为单个的词条。一个简单的分词器遇到空格和标点的时候， 可能会将文本拆分成词条。

​ 3>.Token 过滤器

​ 最后，词条按顺序通过每个 token 过滤器 。这个过程可能会改变词条（例如，小写化 Quick ），删除词条（例如， 像 a， and， the 等无用词），或者增加词条（例如，像 jump 和 leap 这种同义词）。

4.7.1 内置分析器

1. **标准分析器(**默认分析器，最终将词条小写)
2. 简单分析器：在任何不是字母的地方分隔文本，将词条小写。
3. 空格分析器
4. 语言分析器

4.7.2 分析器使用场景

全文查询，理解每个域是如何定义的，因此它们可以做正确的事：

1.当你查询一个 全文 域时， 会对查询字符串应用相同的分析器，以产生正确的搜 索词条列表。

2.当你查询一个 精确值 域时，不会分析查询字符串，而是搜索你指定的精确值。

4.7.5 IK 分词器（中文分词器）

IK提供了两个分词算法ik_smart 和 ik_max_word 其中 ik_smart 为最少切分，ik_max_word为最细粒度划分

4.8 文档处理

4.8.1 文档冲突

在数据库领域中，有两种方法通常被用来确保并发更新时变更不会丢失：

悲观并发控制：

这种方法被关系型数据库广泛使用，它假定有变更冲突可能发生，因此阻塞访问资源以 防止冲突。 一个典型的例子是读取一行数据之前先将其锁住，确保只有放置锁的线程能够 对这行数据进行修改。

乐观并发控制：

Elasticsearch 中使用的这种方法假定冲突是不可能发生的，并且不会阻塞正在尝试的操 作。 然而，如果源数据在读写当中被修改，更新将会失败。应用程序接下来将决定该如何 解决冲突。 例如，可以重试更新、使用新的数据、或者将相关情况报告给用户。

4.8.2 乐观并发控制

Elasticsearch 需要一种方法确保文档的旧版本不会覆 盖新的版本。

当文档被修改时版本号递增。 Elasticsearch 使用这个 version 号来确保变更 以正确顺序得到执行。如果旧版本的文档在新版本之后到达，它可以被简单的忽略。

我们可以利用 version 号来确保 应用中相互冲突的变更不会导致数据丢失。我们通过 指定想要修改文档的 version 号来达到这个目的。 如果该版本不是当前版本号，我们的请 求将会失败。

第六章 Elasticsearch 优化

6.1 硬件选择

6.5 内存设置

ES 默认安装后设置的内存是 1GB，对于任何一个现实业务来说，这个设置都太小了。 如果是通过解压安装的 ES，则在 ES 安装文件中包含一个 jvm.option 文件，添加如下命 令来设置 ES 的堆大小，Xms 表示堆的初始大小，Xmx 表示可分配的最大内存，都是 1GB。 确保 Xmx 和 Xms 的大小是相同的，其目的是为了能够在 Java 垃圾回收机制清理完 堆区后不需要重新分隔计算堆区的大小而浪费资源，可以减轻伸缩堆大小带来的压力。

因为 ES 堆内存的分配需要满足以下两个原则：

1.不要超过物理内存的 50%

2.堆内存的大小最好不要超过 32GB

第7章 Elasticsearch 面试题

7.1 为什么要使用 Elasticsearch?

系统中的数据，随着业务的发展，时间的推移，将会非常多，而业务中往往采用模糊查询进行数据的 搜索，而模糊查询会导致查询引擎放弃索引，导致系统查询数据时都是全表扫描，在百万级别的数据库中， 查询效率是非常低下的，而我们使用 ES 做一个全文索引，将经常查询的系统功能的某些字段，比如说电 商系统的商品表中商品名，描述、价格还有 id 这些字段我们放入 ES 索引库里，可以提高查询速度。

7.2 Elasticsearch 的 master 选举流程？

1.Elasticsearch 的选主是 ZenDiscovery 模块负责的，主要包含 Ping（节点之间通过这个 RPC 来发现彼此） 和 Unicast（单播模块包含一个主机列表以控制哪些节点需要 ping 通）这两部分

2.对所有可以成为 master 的节点（node.master: true）根据 nodeId 字典排序，每次选举每个节点都把自 己所知道节点排一次序，然后选出第一个（第 0 位）节点，暂且认为它是 master 节点。

3.如果对某个节点的投票数达到一定的值（可以成为 master 节点数 n/2+1）并且该节点自己也选举自己， 那这个节点就是 master。否则重新选举一直到满足上述条件。

4.master 节点的职责主要包括集群、节点和索引的管理，不负责文档级别的管理；data 节点可以关闭 http 功能。

7.3 Elasticsearch 集群脑裂问题？

什么是脑裂问题？
脑裂问题其实就是同一个集群的不同节点对于整个集群的状态有不同的理解，导致操作错乱，类似于精神分裂

1).“脑裂”问题可能的成因：

1. 网络问题：集群间的网络延迟导致一些节点访问不到 master，认为 master 挂掉了从而选举出新的 master，并对 master 上的分片和副本标红，分配新的主分片
2. 节点负载：主节点的角色既为 master 又为 data，访问量较大时可能会导致 ES 停止响应造成大面积延 迟，此时其他节点得不到主节点的响应认为主节点挂掉了，会重新选取主节点。
3. 内存回收：data 节点上的 ES 进程占用的内存较大，引发 JVM 的大规模内存回收，造成 ES 进程失去 响应。

2).脑裂问题解决方案

​ 1.减少误判：discovery.zen.ping_timeout 节点状态的响应时间，默认为 3s，可以适当调大，如果 master 在该响应时间的范围内没有做出响应应答，判断该节点已经挂掉了。调大参数（如 6s， discovery.zen.ping_timeout:6），可适当减少误判。

​ 2.选举触发: discovery.zen.minimum_master_nodes:1

​ 该参数是用于控制选举行为发生的最小集群主节点数量。当备选主节点的个数大于等于该参数的值， 且备选主节点中有该参数个节点认为主节点挂了，进行选举。官方建议为（n/2）+1，n 为主节点个数 （即有资格成为主节点的节点个数）

​ 3.角色分离：即 master 节点与 data 节点分离，限制角色

​ 主节点配置为：node.master: true node.data: false

​ 从节点配置为：node.master: false node.data: true

7.4 Elasticsearch 索引文档的流程？

​ 1.协调节点默认使用文档 ID 参与计算（也支持通过 routing），以便为路由提供合适的分片： shard = hash(document_id) % (num_of_primary_shards)

​ 2.当分片所在的节点接收到来自协调节点的请求后，会将请求写入到 Memory Buffer，然后定时（默认 是每隔 1 秒）写入到 Filesystem Cache，这个从 Memory Buffer 到 Filesystem Cache 的过程就叫做 refresh；

​ 3.当然在某些情况下，存在 Momery Buffer 和 Filesystem Cache 的数据可能会丢失，ES 是通过 translog 的机制来保证数据的可靠性的。其实现机制是接收到请求后，同时也会写入到 translog 中，当 Filesystem cache 中的数据写入到磁盘中时，才会清除掉，这个过程叫做 flush；

​ 4.在 flush 过程中，内存中的缓冲将被清除，内容被写入一个新段，段的 fsync 将创建一个新的提交点， 并将内容刷新到磁盘，旧的 translog 将被删除并开始一个新的 translog。

​ 5.flush 触发的时机是定时触发（默认 30 分钟）或者 translog 变得太大（默认为 512M）时；

7.5 Elasticsearch 更新和删除文档的流程？

​ 1.删除和更新也都是写操作，但是 Elasticsearch 中的文档是不可变的，因此不能被删除或者改动以展示 其变更；

​ 2.磁盘上的每个段都有一个相应的.del 文件。当删除请求发送后，文档并没有真的被删除，而是在.del 文件中被标记为删除。该文档依然能匹配查询，但是会在结果中被过滤掉。当段合并时，在.del 文件中被标记为删除的文档将不会被写入新段。

​ 3.在新的文档被创建时，Elasticsearch 会为该文档指定一个版本号，当执行更新时，旧版本的文档在.del 文件中被标记为删除，新版本的文档被索引到一个新段。旧版本的文档依然能匹配查询，但是会在结 果中被过滤掉。

7.6 Elasticsearch 搜索的流程？

​ 1.搜索被执行成一个两阶段过程，我们称之为 Query Then Fetch；

​ 2.在初始查询阶段时，查询会广播到索引中每一个分片拷贝（主分片或者副本分片）。 每个分片在本 地执行搜索并构建一个匹配文档的大小为 from + size 的优先队列。PS：在搜索的时候是会查询 Filesystem Cache 的，但是有部分数据还在 Memory Buffer，所以搜索是近实时的。

​ 3.每个分片返回各自优先队列中 所有文档的 ID 和排序值 给协调节点，它合并这些值到自己的优先队 列中来产生一个全局排序后的结果列表。

​ 4.接下来就是取回阶段，协调节点辨别出哪些文档需要被取回并向相关的分片提交多个 GET 请求。每 个分片加载并丰富文档，如果有需要的话，接着返回文档给协调节点。一旦所有的文档都被取回了， 协调节点返回结果给客户端。

​ 5.Query Then Fetch 的搜索类型在文档相关性打分的时候参考的是本分片的数据，这样在文档数量较少 的时候可能不够准确，DFS Query Then Fetch 增加了一个预查询的处理，询问 Term 和 Document frequency，这个评分更准确，但是性能会变差。

7.7 Elasticsearch 在部署时，对 Linux 的设置有哪些优化方法？

1.64 GB 内存的机器是非常理想的，但是 32 GB 和 16 GB 机器也是很常见的。少于 8 GB 会适得其反。

2.如果你要在更快的 CPUs 和更多的核心之间选择，选择更多的核心更好。多个内核提供的额外并发远胜过稍微快一点点的时钟频率。

3.基于 SSD 的节点，查询和索引性能都有提升。 如果你负担得起，SSD 是一个好的选择。

4.即使数据中心们近在咫尺，也要避免集群跨越多个数据中心。绝对要避免集群跨越大的地理距离。

5.请确保运行你应用程序的 JVM 和服务器的 JVM 是完全一样的。 在 Elasticsearch 的几个地方，使 用 Java 的本地序列化。

6.通过设置 gateway.recover_after_nodes、gateway.expected_nodes、gateway.recover_after_time 可以在集群 重启的时候避免过多的分片交换，这可能会让数据恢复从数个小时缩短为几秒钟。

7.Elasticsearch 默认被配置为使用单播发现，以防止节点无意中加入集群。只有在同一台机器上运行的 节点才会自动组成集群。最好使用单播代替组播。

8.不要随意修改垃圾回收器（CMS）和各个线程池的大小。

9.把你的内存的（少于）一半给 Lucene（但不要超过 32 GB！），通过 ES_HEAP_SIZE 环境变量设置。

10.Lucene 使用了大量的文件。同时，Elasticsearch 在节点和 HTTP 客户端之间进行通信也使用了大量 的套接字。 所有这一切都需要足够的文件描述符。你应该增加你的文件描述符，设置一个很大的值， 如 64,000。

11.如果你的搜索结果不需要近实时的准确度，考虑把每个索引的 index.refresh_interval 改到 30s。

12:如果你在做大批量导入，考虑通过设置 index.number_of_replicas: 0 关闭副本。

7.8 GC 方面，在使用 Elasticsearch 时要注意什么？

1.倒排词典的索引需要常驻内存，无法 GC，需要监控 data node 上 segment memory 增长趋势。

2.各类缓存，field cache, filter cache, indexing cache, bulk queue 等等，要设置合理的大小，并且要应该根 据最坏的情况来看 heap 是否够用，也就是各类缓存全部占满的时候，还有 heap 空间可以分配给其他 任务吗？避免采用 clear cache 等“自欺欺人”的方式来释放内存。

3.cluster stats 驻留内存并无法水平扩展，超大规模集群可以考虑分拆成多个集群通过 tribe node 连接。

4.想知道 heap 够不够，必须结合实际应用场景，并对集群的 heap 使用情况做持续的监控。

7.9 Elasticsearch 对于大数据量（上亿量级）的聚合如何实现？

Elasticsearch 提供的首个近似聚合是 cardinality 度量。它提供一个字段的基数，即该字段的 distinct 或者 unique 值的数目。

即基于HLL算法的基数度量。HLL 会先对我们的输入作哈希运算，然后根据哈希运算的结果中的 bits 做概率估算从而得到基数。

其特点是：可配置的精度，用来控制内存的使用（更精确 ＝ 更 多内存）；小的数据集精度是非常高的；我们可以通过配置参数，来设置去重需要的固定内存使用量。无 论数千还是数十亿的唯一值，内存使用量只与你配置的精确度相关

7.10 在并发情况下，Elasticsearch 如果保证读写一致？

1.可以通过版本号使用乐观并发控制，以确保新版本不会被旧版本覆盖，由应用层来处理具体的冲突；

2.另外对于写操作，一致性级别支持 quorum/one/all，默认为 quorum，即只有当大多数分片可用时才允 许写操作。但即使大多数可用，也可能存在因为网络等原因导致写入副本失败，这样该副本被认为故 障，分片将会在一个不同的节点上重建。

3.对于读操作，可以设置 replication 为 sync(默认)，这使得操作在主分片和副本分片都完成后才会返回； 如果设置 replication 为 async 时，也可以通过设置搜索请求参数_preference 为 primary 来查询主分片， 确保文档是最新版本。

7.11 如何监控 Elasticsearch 集群状态？

elasticsearch-head 插件 通过 Kibana 监控 Elasticsearch。你可以实时查看你的集群健康状态和性能，也可以分析过去的集群、 索引和节点指

7.12 是否了解字典树？

常用字典数据结构如下所示:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VU92jzV3-1629942862308)(C:\Users\chenleics\AppData\Roaming\Typora\typora-user-images\image-20210709083024144.png)]

​ 字典树又称单词查找树，Trie 树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排 序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是： 利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。

Trie 的核心思想是空间换时间，利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。 它有 3 个基本性质:

​ 1.根节点不包含字符，除根节点外每一个节点都只包含一个字符。

​ 2.从根节点到某一节点，路径上经过的字符连接起来，为该节点对应的字符串。

​ 3.每个节点的所有子节点包含的字符都不相同。 对于中文的字典树，每个节点的子节点用一个哈希表存储，这样就不用浪费太大的空间，而且查询速度上 可以保留哈希的复杂度 O(1)。

7.13 Elasticsearch 中的集群、节点、索引、文档、类型是什么？

1.集群：集群是一个或多个节点（服务器）的集合，它们共同保存您的整个数据，并提供跨所有节点的联合索 引和搜索功能。群集由唯一名称标识，默认情况下为“elasticsearch”。此名称很重要，因为如果节点设 置为按名称加入群集，则该节点只能是群集的一部分。

2.节点：节点是属于集群一部分的单个服务器。它存储数据并参与群集索引和搜索功能。

3.索引：索引就像关系数据库中的“数据库”。它有一个定义多种类型的映射。索引是逻辑名称空间，映射到一 个或多个主分片，并且可以有零个或多个副本分片。 MySQL =>数据库 Elasticsearch =>索引

4.文档：文档类似于关系数据库中的一行。不同之处在于索引中的每个文档可以具有不同的结构（字段），但 是对于通用字段应该具有相同的数据类型。 MySQL => Databases => Tables => Columns / Rows Elasticsearch => Indices => Types =>具有属性的文档

5.类型是索引的逻辑类别/分区，其语义完全取决于用户。

7.14 Elasticsearch 中的倒排索引是什么？

倒排索引是搜索引擎的核心。搜索引擎的主要目标是在查找发生搜索条件的文档时提供快速搜索。ES 中的倒排索引其实就是 lucene 的倒排索引，区别于传统的正向索引，倒排索引会再存储数据时将关键词和数据进行关联，保存到倒排表中，然后查询时，将查询内容进行分词后在倒排表中进行查询，最后匹配数 据即可。

7.15：什么是ELK?

ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

如下所示:

[外链图片转存中…(img-VU92jzV3-1629942862308)]

​ 字典树又称单词查找树，Trie 树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排 序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是： 利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。

Trie 的核心思想是空间换时间，利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。 它有 3 个基本性质:

​ 1.根节点不包含字符，除根节点外每一个节点都只包含一个字符。

​ 2.从根节点到某一节点，路径上经过的字符连接起来，为该节点对应的字符串。

​ 3.每个节点的所有子节点包含的字符都不相同。 对于中文的字典树，每个节点的子节点用一个哈希表存储，这样就不用浪费太大的空间，而且查询速度上 可以保留哈希的复杂度 O(1)。

7.13 Elasticsearch 中的集群、节点、索引、文档、类型是什么？

1.集群：集群是一个或多个节点（服务器）的集合，它们共同保存您的整个数据，并提供跨所有节点的联合索 引和搜索功能。群集由唯一名称标识，默认情况下为“elasticsearch”。此名称很重要，因为如果节点设 置为按名称加入群集，则该节点只能是群集的一部分。

2.节点：节点是属于集群一部分的单个服务器。它存储数据并参与群集索引和搜索功能。

3.索引：索引就像关系数据库中的“数据库”。它有一个定义多种类型的映射。索引是逻辑名称空间，映射到一 个或多个主分片，并且可以有零个或多个副本分片。 MySQL =>数据库 Elasticsearch =>索引

4.文档：文档类似于关系数据库中的一行。不同之处在于索引中的每个文档可以具有不同的结构（字段），但 是对于通用字段应该具有相同的数据类型。 MySQL => Databases => Tables => Columns / Rows Elasticsearch => Indices => Types =>具有属性的文档

5.类型是索引的逻辑类别/分区，其语义完全取决于用户。

7.14 Elasticsearch 中的倒排索引是什么？

倒排索引是搜索引擎的核心。搜索引擎的主要目标是在查找发生搜索条件的文档时提供快速搜索。ES 中的倒排索引其实就是 lucene 的倒排索引，区别于传统的正向索引，倒排索引会再存储数据时将关键词和数据进行关联，保存到倒排表中，然后查询时，将查询内容进行分词后在倒排表中进行查询，最后匹配数 据即可。

7.15：什么是ELK?

ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。