ElasticSearch相关概念

ElasticSearch相关概念

Elastic Stack 生态圈

ElasticSerach基本概念

• 文档

  • ElasticSearch是面向文档的，文档是所有课搜索数据的最小单位（一条日志/一条错误信息/一篇文章/一条数据）

  • 文档会被序列化成JSON格式，保存在ElasticSearch中

    • JSON对象由字段组成
    • 每个字段都有对应的字段类型（字符串/数值/布尔/日期/二进制/范围类型）

  • 每个文档都有一个Unique ID

    • 可以自己指定ID
    • 也可以通过ElasticSearch自动生成

  • 文档的元数据

    {
    	"_index":"movies",		# 文档所属的索引名
        "_type":"_doc",			# 文档所属的类型名（在es7.0之前，一个index可以设置多个Types，7.0后只能创建一个Type："_doc"）
        "_id":"1",				# 文档的唯一ID
        "_score":14.69302,		# 相关性打分
        "_source":{				# 文档的原始JSON数据
            "year":"1995",
            "@version":"1",		# 文档的版本信息
            "genre":[
                "Adventure",
                "Animation",
                "Children",
                "Comedy",
                "Fantasy"
            ],
            "id":"1",
            "title":"Toy Story"
        }
    }
    

• 索引

  • index-索引是文档的容器，是一类文档的集合

    • index体现了逻辑空间的概念：

      每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型

    • Shard体现了物理空间的概念：

      简单理解就是：索引中的数据最后是分散在Shard上

  • 索引的Mapping和Settings

    • Mapping定义文档字段的类型
    • Setting定义不同的数据分布

  {
      "movies":{
          "settings":{
              "index":{
                  "creation_date":"1552737458543",
                  "number_of_shards":"2",
                  "number_of_replicas":"0",
                  "uuid":"Qnd7lMrNQPGdaeJ9oR0tfQ",
                  "version":{
                      "created":"6060299"
                  },
                  "provided_name":"movies"
              }
          }
      }
  }

• 索引的不同语义

  • 名词

    一个ElasticSearch集群中，可以创建多个索引

  • 动词

    保存一个文档到ElasticSearch的过程也叫索引（indexing）

  • 名词

    一个BTree索引，一个倒排索引

• ElasticSearch的概念与关系型数据库概念对比

  RDBMS 关系型数据库	Elasticsearch
  Table	Index(Type)
  Row	Doucment
  Column	Filed
  Schema	Mapping
  SQL	DSL

• 分布式系统的可用性与扩展性

  • 高可用性

    • 服务可用性：允许有节点停止服务

    • 数据可用性：部分节点丢失，数据不会丢失

  • 扩展性

    • 请求量、数据量的不断增长（将数据分布到所有节点上）

• ElasticSearch分布式特性

  • ElasticSearch的风不是架构的好处
    • 存储的水平扩容
    • 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响
  • ElasticSearch的分布式架构
    • 不同的集群通过不同的名字来区分（默认名字elasticsearch）
    • 通过配置文件修改，或者在命令行中 -E cluster.name=集群名 进行设置
    • 一个集群可以有一个或者多个节点

• 节点

  • 节点是一个ElasticSearch的实例

    • 本质上是一个Java进程
    • 一台机器上可以运行多个ElasticSearch进程，但是生产环境一般建议一台机器只运行一个实例
    • 每个节点都有名字，通过配置文件配置，或者启动的时候 -E node.name=节点名 指定
    • 每个节点在启动之后，会分配一个UID，保存在data目录下

  • Master-eligible nodes 和Master Node

    • 每个节点启动后，默认就是一个Master eligible节点（可以设置node.name:false禁止）

    • Master-eligible节点可以参选主流程，成为Master节点

    • 当第一个节点启动的时候，它会将自己选举为Master节点

    • 每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息

      • 集群状态（Cluster State）,维护了一个集群中必要的信息:

        • 所有的节点信息

        • 所有的索引和其相关的Mapping和Setting信息

        • 分片的路由信息

        • 任意节点都能修改信息会导致数据的不一致,所以只有Master节点才能修改集群状态

  • Data Node 和Coordinating Node

    • Data Node

      • 可以保存数据的节点叫做Data Node。
      • 负责保存分片数据，在数据扩展上起到了至关重要的作用

    • Coordinating Node

      • 负责接收Client的请求，将请求分发到合适的节点，最终把结果汇集到一起

      • 每个节点默认都起到了Coordinating Node的职责

  • 其他的节点类型

    • Hot & Warm Node
      • 不同硬件配置的Data Node，用来实现Hot&Warm架构，降低集群部署的成本
    • Machine Learning Node
      • 负责跑机器学习的Job，用来做异常检测
    • Tribe Node
      • (5.3开始使用Cross Cluster Serach) Tribe Node 连接到不同的ElasticSearch集群，并支持将这些集群当成一个单独的集群处理

  • 配置节点类型

    • 开发环境中一个节点可以承担多种角色

    • 生产环境中，应该设置单一的角色节点（dedicated node）

      节点类型	配置参数	默认值
      master eligible	node.master	true
      data	node.data	true
      ingest	node.ingest	true
      coordinating only	无	每个节点默认都是coordinating节点。设置其他类型全部为false
      machine learning	node.ml	true（需enable x-pack）

• 分片

  • 主分片（Primary Shard）：

    • 用于解决数据水平扩展的问题，通过主分片，可以将数据分布到集群内的所有节点之上
    • 一个分片是一个运行的Lucene的实例
    • 主分片数在索引创建时指定，后续不允许修改，除非Reindex

  • 副本（Replica Shard）：

    • 用于解决数据高可用的问题。分片是主分片的拷贝
    • 副本分片数，可以动态调整
    • 增加副本数，还可以在一定程度上提高服务的可用性（读取的吞吐）

一个三节点的集群中，blogs所有的分片分布情况：

number_of_shards: 主分片数为3

number_of_replicas: 副本数为1

• 分片的设定

  • 对于生成环境中分片的设定，需要提前做好容量规划

    • 分片数设置过小

      • 导致后续无法增加节点实现水平扩展

      • 单个分片的数据量太大，导致数据重新分配耗时

    • 分片数设置过大，7.0开始，默认主分片设置成1，解决了over-sharding的问题

      • 影响搜索结果的相关性打分，影响统计结果的准确性
      • 单的节点上过多的分片，会导致资源浪费，同时也会影响性能