Elasticsearch笔记（三）基础知识

Elasticsearch笔记（二）安装与使用

理论知识

索引、文档、节点、分片
索引、文档偏向开发人员
节点、分片偏向运维人员

文档（Document）

简介

• Elasticsearch是面向文档的，文档是所有可搜索数据的最小单位
  • 日志文件中的日志项
  • 一部电影的具体信息/一张唱片的详细信息
  • MP3播放器里的一首歌/一篇PDF文档中的具体内容
• 文档会被序列化成JSON格式，保存在Elasticsearch中
  • JSON对象由字段组成
  • 每个字段都有对应的字段类型（字符串/数值/布尔/日期/二进制/范围类型）
• 每个文档都有一个Unique ID
  • 可以自己指定ID
  • 也可以通过Elasticsearch自动生成

# 添加文档，通过Elasticsearch自动生成id
POST /book/_doc
{
  "name": "盘龙",
  "author": "我吃西红柿",
  "on-Sale": "2000-01-01",
  "count": 100000,
  "descr": "是你的撒谎书法课"
}

# 添加文档，自己指定ID，还可以修改
PUT /book/_doc/1
{
  "name": "红楼梦",
  "author": "曹雪芹",
  "count": 10000000,
  "on-Sale": "1985-01-01",
  "descr": "是你的撒谎书法课是四大书法家还是发噶发"
}

JSON文档

• 一篇文档包含了一系列的字段。类似数据库表中的一条记录
• JSON文档，格式灵活，不需要预先定义格式
  • 字段的类型可以指定或者通过Elasticsearch自动推算
  • 支持数组/支持嵌套

可以通过logstash将csv文件转换为json格式数据

文档的元数据

• 元数据，用于标注文档的相关信息
  • _index - 文档所属的索引名
  • _type - 文档所属的类型名
  • _id - 文档唯一ID
  • _source：文档的原始JSON数据
  • _all：整合所有字段内容内容到该字段，已被废除
  • _version：文档的版本信息
  • _score：相关性打分
    

索引

简介

• index - 索引是文档的容器，是一类文档的结合
  • index体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
  • Shard体现了物理空间的概念：索引中的数据分散在Shard上
• 索引的Mapping与Settings
  • Mapping定义文档字段的类型
  • Setting定义不同的数据分布

索引的不同寓意

• 名词：一个Elasticsearch集群中，可以创建很多个不同的索引
• 动词：保存一个文档到Elasticsearch的过程也叫索引
• ES之外：一个B树索引，一个倒排索引

节点

简介

• 节点是一个 Elasticsearch 的实例
  • 本质上就是一个 JAVA 进程
  • 一台机器上可以运行多个 Elasticsearch 进程，但是生产环境一般建议一台机器上只运行一个 Elasticsearch 实例
• 每个节点都有名字，通过配置文件配置，或者启动的时候 -E node.name=节点名称 指定
• 每一个节点在启动之后，会分配一个 UID ，保存在 data 目录下

Master-eligible nodes 和 Master Node

• 每个节点启动后，默认就是一个 Master eligible 节点
  • 可以设置 node.master: false 禁止
• Master-eligible 节点可以参加选主流程，成为 Master 节点
• 当第一个节点启动时，它会将自己选举为 Master 节点
• 每个节点上都保存了集群状态，只有 Master 节点才能修改集群的状态信息
  • 集群状态（Cluster State），维护了一个集群中，必要的信息
    • 所有的节点信息
    • 所有的索引和其相关的 Mapping 与 Setting 信息
    • 分片的路由信息
  • 任意节点都能修改信息会导致数据的不一致性

Data Node & Coordinating Node

• Data Node
  • 可以保存数据的节点，叫做 Data Node。负责保存分片数据。在数据扩展上起到了至关重要的作用
• Coordinating Node
  • 负责接收 Client 的请求，将请求分发到合适的节点，最终把结果汇集到一起
  • 每个节点都默认起到了 Coordinating Node 的职责

其它节点类型

• Hot & Warm Node
  • 不同硬件配置的 Data Node，用来实现 Hot & Warm 架构，降低集群部署成本
  • 机器配置比较高，有更好的存储量、cpu 可以设置为Hot 节点
  • 机器配置比较低可以存放一些比较旧的数据，设置为 Warm 节点
• Machine Learning Node
  • 负责跑机器学习的 Job，用来做异常检测
    Tribe Node
  • (5.3 开始使用 Cross Cluster Search) Tribe Node 连接到不同的 Elasticsearch 集群，并且支持将这些集群当成一个单独的集群处理

配置节点类型

• 开发环境中一个节点可以承担多种角色
• 生成环境中，应该设置单一的角色节点（dedicated node）

节点类型	配置参数	默认值
master eligible	node.master	true
data	node.data	true
ingest	node.ingest	true
coordinating only	无	每个节点默认都是 coordinating 节点
machine learning	node.ml	true（需 enable x-pack）

分片

主分片

用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之上

• 一个分片是一个运行的 Lucene 的实例
• 主分片数在索引创建时指定，后续不允许修改，除非 Reindex

副本分片

用以解决数据高可用的问题。分片是主分片的拷贝

• 副本分片数，可以动态调整
• 增加副本分片数，还可以在一定程度上提高服务的可用性（读取的吞吐）

分片的设定

对于生产环境中分片的设定，需要提前做好容量规划

• 分片数设置过小
  • 导致后续无法增加节点实现水平扩展
  • 单个分片数据量太大，导致数据重新分配耗时
• 分片数设置过大，7.0 开始，默认主分片设置成 1，解决了 over-sharding 的问题（主分片默认是5，副本分片是1）
  • 影响搜索结果的相关性打分，影响统计结果的准确性
  • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能
  • idf 是基于分片上的数据进行计算的，并不是基于所有分片计算。所以数据量少，容易出现不准的情况

Type

• 在7.0之前，一个Index可以设置多个Types
• 6.0开始，Type已经被Deprecated。7.0开始，一个索引只能创建一个Type - “_doc”

抽象与类比

Elasticsearch	RDBMS
Index(Type)	Table
Document	Row
Filed	Column
Mapping	Schema
DSL	SQL

不恰当的比喻

• 关系型数据库中的表类似es的索引
• 关系型数据库中的每一条记录类似es的文档
• 关系型数据库中的每个字段相当于es文档中的字段

1. 在7.0之前，一个Index可以设置多个Types
2. 目前Type已经被Deprecated，7.0开始，一个索引只能创建一个Type - “_doc”
3. 传统关系型数据库和Elasticsearch的区别
   -Elasticsearch - Schemaless /相关性/高性能全文检索
   -RDBMS - 事务性 / Join

调用

提供了 Rest API 很容易被各种语言调用

基本 API

# 查看 kibana_sample_data_flights 索引的 mapping
GET kibana_sample_data_flights/_mapping

# 查看 kibana_sample_data_flights 索引共有多少条文档
GET kibana_sample_data_flights/_count

#查看 kibana_sample_data_flights 索引的前10条文档，了解文档格式
POST kibana_sample_data_flights/_search
{
}

#按照文档个数排序
GET /_cat/indices?v&s=docs.count:desc

#查看状态为绿的索引
GET /_cat/indices?v&health=green

# 查看节点下索引信息，支持通配符形式
GET _cat/indices

# 列出节点下所有以wu开头的索引
GET _cat/indices/wu_*

# 查看索引的内存占用情况
GET _cat/indices?v&h=index,tm&s=tm:desc

#查看具体的字段
GET /_cat/indices/kibana*?pri&v&h=health,index,pri,rep,docs.count,mt

查看集群状态

GET _cluster/health
http://ip:9200/_cluster/health

status 结果说明

• Green - 主分片与副本都正常分片
• Yellow - 主分片全部正常分配，有副本分片未能正常分配
• Red - 有主分片未能分配
  • 例如，当服务器的磁盘容量超过 85% 时，去创建一个新的索引