ES基础概念理解 ES入门 ELK基础 yellow green

yuezhilangniao

已于 2022-12-22 11:18:15 修改

阅读量1k

点赞数

文章标签： elasticsearch 数据库 mysql

于 2022-10-07 10:01:22 首次发布

原文链接：https://blog.csdn.net/qq_34599132/article/details/108879842

版权

一理论

社区推荐：

3、ELK的参考资料
ELK官网：https://www.elastic.co/
ELK官网文档：https://www.elastic.co/guide/index.html
ELK中文手册：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
ELK中文社区：https://elasticsearch.cn/
————————————————
原文链接：https://blog.csdn.net/Chenftli/article/details/122614838

很多了解mysql的同学开始对es都很陌生，我亦如此，所以结合mysql先理解es的一些基础概念：

1）关系型数据库中的数据库（DataBase），等价于ES中的索引（Index）

（2）一个数据库下面有N张表（Table），等价于1个索引Index下面有N多类型（Type），

（3）一个数据库表（Table）下的数据由多行（ROW）多列（column，属性）组成，等价于1个Type由多个文档（Document）和多Field组成。

（4）在一个关系型数据库里面，schema定义了表、每个表的字段，还有表和字段之间的关系。与之对应的，在ES中：Mapping定义索引下的Type的字段处理规则，即索引如何建立、索引类型、是否保存原始索引JSON文档、是否压缩原始JSON文档、是否需要分词处理、如何进行分词处理等。

（5）在数据库中的增insert、删delete、改update、查search操作等价于ES中的增PUT/POST、删Delete、改_update、查GET.

对比图：

原文：mysql和ES对比_苍云烟的博客-CSDN博客_es和mysql的区别ES数据架构的主要概念与关系数据库Mysql对比这里写图片描述（1）关系型数据库中的数据库（DataBase），等价于ES中的索引（Index）（2）一个数据库下面有N张表（Table），等价于1个索引Index下面有N多类型（Type），（3）一个数据库表（Table）下的数据由多行（ROW）多列（column，属性）组成，等价于1个Type由多个文档（Document）和多Field组成。（4）在一个关系型数据库里面，schema定义了表、每个表的字段，还有表和字段之间的关系。https://blog.csdn.net/qq_34599132/article/details/108879842

ES基础查询：

/_cat/allocation         #查看单节点的shard分配整体情况
/_cat/shards          #查看各shard的详细情况
/_cat/shards/{index}     #查看指定分片的详细情况
/_cat/master          #查看master节点信息
/_cat/nodes           #查看所有节点信息
/_cat/indices         #查看集群中所有index的详细信息
/_cat/indices/{index}      #查看集群中指定index的详细信息
/_cat/segments        #查看各index的segment详细信息,包括segment名, 所属shard, 内存(磁盘)占用大小, 是否刷盘
/_cat/segments/{index}#查看指定index的segment详细信息
/_cat/count           #查看当前集群的doc数量
/_cat/count/{index}   #查看指定索引的doc数量
/_cat/recovery        #查看集群内每个shard的recovery过程.调整replica。
/_cat/recovery/{index}#查看指定索引shard的recovery过程
/_cat/health          #查看集群当前状态：红、黄、绿
/_cat/pending_tasks   #查看当前集群的pending task
/_cat/aliases         #查看集群中所有alias信息,路由配置等
/_cat/aliases/{alias} #查看指定索引的alias信息
/_cat/thread_pool     #查看集群各节点内部不同类型的threadpool的统计信息,
/_cat/plugins         #查看集群各个节点上的plugin信息
/_cat/fielddata       #查看当前集群各个节点的fielddata内存使用情况
/_cat/fielddata/{fields}     #查看指定field的内存使用情况,里面传field属性对应的值
/_cat/nodeattrs              #查看单节点的自定义属性
/_cat/repositories           #输出集群中注册快照存储库
/_cat/templates              #输出当前正在存在的模板信息

ES DBA进阶文章：

ES关键字_DSJ_smile的博客-CSDN博客_es 关键字

原文：elastic search 如何将yellow 状态变为green健康状态 - 腾讯云开发者社区-腾讯云 (tencent.com)

背景原理

green状态：每个索引的primary shard和replica shard都是active状态 yellow ：每个索引的primary shard都是active状态，但是部分replica shard不是active状态，处于不可用状态 red: 不是所有的索引的primary shard都是active状态，部分索引有数据丢失了

为什么现在处于一个yellow状态

我们现在就一台机器，就启动了一个es进程。相当于就起了一个节点，由于默认的配置是每个index分配5个primary shard和1 个replica shard，而且primary shard和replica shard不能在一个机器上（为了容错）。所以，现在的replica shard没法被分配

二实践

第一次实践：

took

took 值告诉我们执行整个搜索请求耗费了多少毫秒。

timeout

timed_out 值告诉我们查询是否超时。默认情况下，搜索请求不会超时。如果低响应时间比完成结果更重要，你可以指定 timeout 为 10 或者 10ms（10毫秒），或者 1s（1秒）：
GET /_search?timeout=10ms
shard

_shards 部分告诉我们在查询中参与分片的总数，以及这些分片成功了多少个失败了多少个。正常情况下我们不希望分片失败，但是分片失败是可能发生的。如果我们遭遇到一种灾难级别的故障，在这个故障中丢失了相同分片的原始数据和副本，那么对这个分片将没有可用副本来对搜索请求作出响应。假若这样，Elasticsearch 将报告这个分片是失败的，但是会继续返回剩余分片的结果。

hits

返回结果中最重要的部分是 hits ，它包含 total 字段来表示匹配到的文档总数，并且一个 hits 数组包含所查询结果的前十个文档。

在 hits 数组中每个结果包含文档的 _index 、 _type 、 _id ，加上 _source 字段。这意味着我们可以直接从返回的搜索结果中使用整个文档。这不像其他的搜索引擎，仅仅返回文档的ID，需要你单独去获取文档。

每个结果还有一个 _score ，它衡量了文档与查询的匹配程度。默认情况下，首先返回最相关的文档结果，就是说，返回的文档是按照 _score 降序排列的。在这个例子中，我们没有指定任何查询，故所有的文档具有相同的相关性，因此对所有的结果而言 1 是中性的 _score 。

max_score 值是与查询所匹配文档的 _score 的最大值。

2.2 ES常用搜索模式

原文：ES-常见搜索方式 - scwyfy - 博客园

1、query string search

2、query DSL

3、query filter

4、full-text search

5、phrase search

6、highlight search

2.2.1 query string search

2.2.2 query DSL参考文章：

https://www.jianshu.com/p/9b013e563b08?u_atoken=2db05cc6-920a-4594-b8db-e092dd30b6da&u_asession=01aVUWaCbq1aT7zcEWhvK300DHs6hUy8ju8PErFaTBb3O5462YwSlWiCzRzBfGjU5OX0KNBwm7Lovlpxjd_P_q4JsKWYrT3W_NKPr8w6oU7K81mXqHtjWEFHhvd2fa0Plj3KmjkU3JT7ddtoHBlecZWGBkFo3NEHBv0PZUm6pbxQU&u_asig=05fdFqf7xSimp5J6v-n1NV55RnSi0FtiM3OryYpNUehHPdF2Bi9isT7t0yM8pXBrOoIXr1XbE6wV3hQPkwUNveiJbKHtWSNxQiMR84j82h-0DrkKMkC3qMxE7erf0aaxfxe3ZvdTucFI9DOp1mLX3NUYU0zRcd1Pf4Uwx254xkkqH9JS7q8ZD7Xtz2Ly-b0kmuyAKRFSVJkkdwVUnyHAIJzVb40hP0MCc9mUexB6uSut4I5hps8shugy4Tufe3WM6czKnPGeiYgOeAvNODIGQOu-3h9VXwMyh6PgyDIVSG1W_aPuA8EJfgc1DiA1mY-RyDybLonYZfH1eNUN_6rAKYnB8o9C_E8AIPqKbk3Mr6EMwGYbgxp2slP93IocrAyiZHmWspDxyAEEo4kbsryBKb9Q&u_aref=%2Fx1Svv%2FwCmPQtIq8j8a1Y9cSTiA%3D

# JG ES测试

url：Console - Kibana (mtr.bj.cn)

GET /winlogbeat-7.3.0/_search
{
  "query" : {
        "match" : {
            "_id" : "IafqsncBn5qQSst8siKp"
        }
    },
  "from": 0,
  "size": 2
  
}

GET /winlogbeat-7.3.0/_search
{
  "query" : {
        "match" : {
            "event.code" : 4672
        }
    },
  "from": 0,
  "size": 2
  
}