ELK是elasticsearch,logstash, kibana的简称,是基于elasticsearch的日志收集、分析工具。在实际的生产中被许多公司作为日志方案而应用。
首先介绍一下基本的概念
elasticsearch是一款全文搜索引擎,其底层是java生态圈中著名的搜索引擎Lucene,但elasticsearch对Lucene进行了封装,提供了Rest API,开箱即用。
logstash是一个事件处理的管道(pipeline),我们可以将事件推送给它,并且可以对其进行操作之后将其推送到不同的后端(对于我们来说就是elasticsearch)。
Kibana是一个可视化的页面,我们可以方便的在页面上进行数据的基础、高级查询,也可以对数据进行分析。在本文中日志分析处理后的结果都会在Kibana中体现。
![](https://i-blog.csdnimg.cn/blog_migrate/d636f5ee6b912d79cb28db7b979f2466.png)
需求分析
在服务的运行过程中,我们需要一些指标来衡量服务当前的性能、健康状况等。由于某型指标与具体的业务息息相关,因此单单依靠一些系统的监控(如jvm,内存)是无法全景展现服务的真实运行情况的,而如果能有效利用elasticsearch的特性就有可能做到对服务做到完整的监控。
准备工作
首先我们需要知道的是,elasticsearch并不仅仅是一款全文搜索引擎,它还有许多其它的功能及应用场景,实时的计算统计数值型数据就是其中一个重要功能,而Kibana可以直观的将我们的统计结果以图表的方式展现给我们。但这有一个前提是,我们必须使用数值型数据,否则elasticsearch将无法计算。
使用Grok filter 插件
Grok插件是一个将非结构化日志数据解析为结构化和可查询数据的插件。
grok语法是%{SYNTAX:SEMANTIC}
SYNTAX是需要匹配的语法模式,比如3.44是一个数字,则我们可将其匹配为NUMBER模式,192.168.1.10是IP地址,那么我们可以将其匹配为IP。
SEMANTIC是需要匹配的文本的标识符, 比如刚才的3.44指的是调用接口的耗时,那么我们可以将其命名为duration
,192.168.1.10是调用的服务端的IP, 我们将其命名为server_host
,那么最终处理的结果就是就是
{
"duration":3.44,
"server_host":"192.168.1.10"
}
现在我们举一个更贴近实际使用的例子。
我们有一个记录服务请求的日志,所有请求都会记录为以下格式
request: stopActivity, cost: 121
我们可以设置以下匹配规则
filter {
grok {
match => {"message" => "request: %{WORD:method} cost: %{NUMBER:elapsed:int}"}
overwrite => ["message"]
named_captures_only => true
}
}
match
中设置了我们匹配了request:
后的文本以及cost:
后的数字,我们最终在可以得到method field
与cost field
中的值。
解释一下cost: %{NUMBER:cost:int}
是什么意思。
在grok的文档中有这么一段,
Optionally you can add a data type conversion to your grok pattern. By default all semantics are saved as strings. If you wish to convert a semantic’s data type, for example change a string to an integer then suffix it with the target data type. For example %{NUMBER:num:int} which converts the num semantic from a string to an integer. Currently the only supported conversions are int and float.
named_captures_only => true 这个函数用来告诉filter我们只对符合匹配规则的字段进行处理,不符合匹配规则的日志会增加一个名为_grokparsefailure的tag
可视化展现
![](https://i-blog.csdnimg.cn/blog_migrate/3975257fad200b09ecabb24fc9c19d70.png)
Kibana为我们准备多种可视化的工具,包括饼图,折线图,数据表等,下面将对我们常用的可视化工具进行介绍。
- 折线图(Line chart)
折线图可以直观的看出数据的走势。
选择折线图后会提示使用新的查询还是使用已保存的查询,可以根据自己的需要选择
![](https://i-blog.csdnimg.cn/blog_migrate/cabe662cb792c6fff884c9a0b4788b0e.png)
在本文中我们选择From a New Search, Select Index
![](https://i-blog.csdnimg.cn/blog_migrate/0d0c0e43307ff1a935826eb6dbd54ac0.png)
在折线图设置中我们可以分别配置Y轴与X轴的数据,在上图的例子中我在Y轴中使用了上一节中通过grok插件获取的elapsed并展现其每分钟的平均值与最大值。
参考文档
http://www.ruanyifeng.com/blog/2017/08/elasticsearch.htmlhttps://www.elastic.co/blog/little-logstash-lessons-part-using-grok-mutate-type-datahttps://www.jianshu.com/p/9170a7a65dd4https://discuss.elastic.co/t/grok-number-field-type-creating-field-as-string-and-not-number/98906https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html