李木

高可用性（英语： High Availability，缩写为 HA），指系统无中断地执行其功能的能力，代表系统的可用性程度，是进行系统设计时的准则之一。人的意识是最重要的，专业能力可以锻炼培养。如果意识不足或松懈，好的能力以及机制流程也会形同虚设。永远要对敬畏线上，敬畏客户体验。面向线上的稳定性战术上可以基于专业度锻炼后自信，但战略和思想上必须持续如履薄冰、三省吾身。线上稳定性保障是作为技术人自己专业度的追求，始终保持敬畏。不因为业务繁忙、个人状态、团队是否重视而有变化，只要职责在，就要守护好。

上一篇文章介绍了 《ElasticSearch7.7.1集群搭建 & Kibana安装》，今天说一下 Logstash的安卓和配置；Logstash是一个开源的数据收集引擎，具有实时管道功能。它可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。Logstash常用于日志关系系统中做日志采集设备。Logstash的事件（logstash将数据流中等每一条数据称之为一个event）处理流水线有三个主要角色完成：inputs –> filters –> outputs。

Elasticsearch（ES）是一个基于Apache Lucene的分布式、高扩展、近实时的搜索引擎，主要用于海量数据快速存储、实时检索、高效分析的场景。通过简单易用的RESTful API，Elasticsearch隐藏了Lucene的复杂性，使得全文搜索变得简单。分布式：由于其分布式特性，Elasticsearch可以将海量数据分散到多台服务器上存储、检索和分析。高扩展性：Elasticsearch可以扩展到上百台服务器，支持大规模数据存储和检索。

默认情况下来说，一个搜索请求，会打到一个index的所有primary shard上去，当然了，每个primary shard都可能会有一个或多个replic shard，所以请求也可以到primary shard的其中一个replica shard上去。每一条document对于search的相关度，越相关，_score分数越大，排位越靠前。可以组合多个查询条件，bool查询也是采用more_matches_is_better的机制，因此满足must和should子句的文档将会合并起来计算分值。

本文针对 Elasticsearch（简称ES）集群6.x版本出现故障时，可通过提供的命令进行排查。

本文档为监控系统服务日志技术规范修订版，明确了日志信息输出的规范要求，方便系统设计人员和开发人员使用。ps现状: 公司各部门都有自己的日志规范，存在规范不统一，接入不统一，监控大盘，报警模版不统一的痛点。在日志接入，大盘创建，报警添加方面存在耗时耗力且效果不好的问题。

Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。是使用 Golang 实现的轻量型日志采集器，也是 Elasticsearch stack 里面的一员。本质上是一个 agent ，可以安装在各个节点上，根据配置读取对应位置的日志，并上报到相应的地方去。

(Elasticsearch 、 Logstash 和 Kibana) + Filebeat的架构构建日志采集分析平台，为了支持日志的高并发和高可靠引入kafaka 解耦Filebeat、Logstash。同时引入 Prometheus、Grafana 进行指标搜集、展示和预警；提供统一查看日志信息平台，实时了解系统、业务、数据库的运行情况。提升问题排查效率，提升预警能力，降低故障率 ，提高SLA百分比。采用业界通用的日志数据管理解决方案。