【ElasticSearch入门】2、ElasticSearch 基本概念及crud api
一、文档
1.1 概述
Elasticsearch 是面向文档，文档是所有搜索数据的最小单元。
文档类似数据库里面的一条长长的存储记录。文档（Document）是索引信息的基本单位。
每个文档都有一个uniqueID,其值不会被索引
1.2 文档元数据
元数据是用于标注文档的相关信息，那么索引文档的元数据如下：
- _index 文档所属索引名称
- _type 文档所属类型名
- _id 文档唯一 ID
- _score 文档相关性打分
- _source 文档 JSON 数据
- _version 文档版本信息
其中 _type 文档所属类型名，需要关注版本不同之间区别：
- 7.0 之前，一个索引可以设置多个 types
- 7.0 开始，被 Deprecated 了。一个索引只能创建一个 type，值为 _doc
1.3 索引
作为名词，索引代表是在 Elasticsearch 集群中，可以创建很多不同索引。
作为动词，索引代表保存一个文档到 Elasticsearch。就是在 Elasticsearch 创建一个倒排索引的意思
索引，就是相似类型文档的集合。
ES 索引就是文档的容器，是一类文档的集合。
在devtools 执行：GET movies
{
"movies" : {
"aliases" : { },
"mappings" : {
"properties" : {
"@version" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"genre" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"id" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"title" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"year" : {
"type" : "long"
}
}
},
"settings" : {
"index" : {
"creation_date" : "1589097356250",
"number_of_shards" : "1",
"number_of_replicas" : "1",
"uuid" : "S0Ic8iLJTjKfL4wd-wGckA",
"version" : {
"created" : "7020099"
},
"provided_name" : "movies"
}
}
}
}
根据返回结果，我们知道：
- mappings：定义文档字段的类型
- settings：定义索引的配置信息
- aliases：定义索引的别名，可以通过别名访问该索引
索引是逻辑空间概念，每个索引有对那个的 Mapping 定义，对应的就是文档的字段名和字段类型。相比后面会讲到分片，是物理空间概念，索引中存储数据会分散到分片上。
1.4 与mysql的简单比较
1.5 restApi可以被多种语言调用
二、分布式
elasticsearch其实就是一个分布式系统，需要满足分布式系统具备的高可用性和可扩展性
2.1分布式系统的可用性与扩展性
- 高可用性
- 服务可用性-允许有节点停止服务
- 数据可用性-部分节点丢失，不会丢失数据
- 可扩展性
- 请求量提升/数据的不断增长（将数据分布到所有节点上
2.2 分布式特性
-
elasticsearch的分布式架构好处
- 存储的水平扩容
- 提高系统的可用性，部分节停止服务，整个集群的服务不受影响
三、节点
3.1 节点
-
是一个elasticsearch的实例
-
本质上是一个java进程
-
一台机器上可以运行多个elasticsearch进程，但是生产环境一般建议一台机器上运行一个elasticsearch实例
-
-
每一个节点都有名字，通过配置文件配置，或者启动时候 -E node.name=node1 指定
-
每一个节点在启动之后，会分配一个UID，保存在data目录下
3.2 Master-eligible nodes和Master Node
-
每个节点启动后，默认就是一个Master eligible节点
- 可以设置node.master:false禁止
-
Master-eligible节点可以参加选主流程，成为master节点
-
当第一个节点启动时候，它会将自己选举成Master节点
-
每个节点上保存了集群的状态，只有master节点才能修改集群的状态信息
- 集群状态（Cluster State)，维护了一个集群中，必要的信息
- 所有的节点信息
- 所有的索引和其相关的Mapping与Setting信息
- 分片的路由信息
- 任意节点都能修改信息会导致数据的不一致性
- 集群状态（Cluster State)，维护了一个集群中，必要的信息
3.3 Data Node & Coordinate Node
-
Data Node
- 可以保存数据的节点，叫做Data Node，负责保存分片数据。在数据扩展上起到了至关重要的作用
-
Coordinate Node
- 负责接受Client的请求，将请求分发到合适的节点，最终将结果汇集到一起
- 每个节点默认起到了Coordinate Node的职责
-
Hot & Warm Node
- 不同硬件配置的Data Node（冷节点配置低），用来实现Hot & Warm架构，降低集群部署的成本
-
Machine Learning Node
- 负责跑机器学习的 Job,用来做异常检测
-
Tribe Node
- 5.3开始使用Cross Cluster Search ，Tribe Node连接到不同的Elasticsearch集群，并且支持将这些集群当成一个单独的集群处理
3.4 配置节点类型
- 开发环境中一个节点可以承担多种角色
- 生产环境配置单一角色：更好性能，单一角色
四、分片（Primary Shard & Replica Shard)
4.1 分片概述
-
主分片，用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之上
- 一个分片是一个运行的 Lucene 的实例
- 主分片数在索引创建时指定，后续不允许修改，除非 通过Reindex方式进行
-
副本，用以解决数据高可用的问题，分片是主分片的拷贝
- 副本分片数，可以动态调整
- 增加副本数，还可以在一定程度上提高服务的可用性（读取的吞吐）
一个例子：
4.2 分片的设定
对于生成环境分片的设定，需要提前做好容量规划（这个很重要）
-
分片数设置过小
- 导致后续无法增加节点实现水平扩展
- 单个分片的数据量太大，导致数据重新分配耗时
-
分片数设置过大，7.0开始，默认主分片设置为1，解决了over-sharding的问题
- 影响搜索结果的相关性打分，影响统计结果的准确性
- 单个节点上过多的分片，会导致资源浪费，同时也会影响性能
五 、查看集群的健康状况
再dev tools运行：GET _cluster/health
{
"cluster_name" : "geektime",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 2,
"number_of_data_nodes" : 2,
"active_primary_shards" : 5,
"active_shards" : 10,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}
根据不同的状态对应的颜色区分。
- Green-主分片与副本都正常分配
- Yellow-主分片全部正常分配，副本分片未能正常分配
- Red-有主分片未能分配
GET _cat/nodes
172.24.0.4 37 96 7 0.53 0.26 0.21 mdi * es72_02
172.24.0.5 33 96 7 0.53 0.26 0.21 mdi - es72_01
使用cerebro ，访问本地9000端口。
02 是主节点
六、crud api
6.1 基础crud
create支持自动生成文档 Id 和指定文档 Id 两种方法.
#create document. 自动生成 _id
#请求头 索引名/_doc/id
POST users/_doc
{
"user" : "Mike",
"post_date" : "2019-04-15T14:12:12",
"message" : "trying out Kibana"
}
#create document. 手动指定id
PUT users/_doc/1?op_type=create
{
"user" : "Mike",
"post_date" : "2019-04-15T14:12:12",
"message" : "trying out Kibana"
}
# 查询
GET users/_doc/1
# 覆盖修改，若没有则创建
PUT users/_doc/1
{
"user":"Mike"
}
#在原有基础上更新
POST users/_update/1
{
"doc":{
"post_date" : "2019-04-15T14:12:12",
"message" : "trying out Kibana"
}
}
#删除
DELETE users/_doc/1
6.2 批量操作
使用 _bulk 关键字
POST _bulk
{ "index" : { "_index" : "test", "_id" : "1" } } //创建id 为1，索引为test的doc
{ "field1" : "value1" } //插入field1为value1
{ "delete" : { "_index" : "test", "_id" : "2" } } //尝试删除id为2的doc
{ "create" : { "_index" : "test2", "_id" : "3" } } //创建id 为3，索引为test2的doc
{ "field1" : "value3" }
{ "update" : {"_id" : "1", "_index" : "test"} } //更新
{ "doc" : {"field2" : "value2"} }
批量获取使用mget关键字
GET /test/_mget //url中指定index
{
"docs" : [
{
"_id" : "1"
},
{
"_id" : "2"
}
]
}
GET /_mget //json中指定index
{
"docs" : [
{
"_index" : "test",
"_id" : "1"
},
{
"_index" : "test",
"_id" : "2"
}
]
}
批量搜索试用msearch
### msearch 操作
POST kibana_sample_data_ecommerce/_msearch
{}
{"query" : {"match_all" : {}},"size":1}
{"index" : "kibana_sample_data_flights"}
{"query" : {"match_all" : {}},"size":2}
6.3 常见错误
304
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
