记一次Docker下安装Logstash+Elasticsearch+Kibana经历

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sbsujjbcy/article/details/52335325

前言

最近遇到一个困惑,在kibana上捞客户端用户行为相关的数据,无奈无法提取一个字段中的kv值。作为一个移动开发人员,对这种东西简直就是日了狗了,请教了下公司推荐组的人,也没有得到结果,靠人不如靠自己去。

这个数据在kibana上显示的是一个用英文逗号分隔,用等号连接的键值对,假设这个字段显示的是args,其值为:

args:key1=value1,key2=value2,key3=value3

而我想要的结果就是提取args中的键值对到外层,便于进行一些图表方面的统计,比如某个字段的成功率等,提取后的内容如下:

args:key1=value1,key2=value2,key3=value3
key1:value1
key2:value2
key3:value3

在这之前,需要把对应的环境先搭建起来,这里使用Docker进行搭建,对Logstash+Elasticsearch+Kibana不了解的可以简单了解下这篇文章,ELKstack 中文指南。而Logstash,个人找到一篇相对比较详细入门的介绍,也可以看下logstash快速入门,在写这篇文章之前,我个人也是对这三个东西一无所知,完全从0开始。

Elasticsearch的安装

Mac下Docker的安装见Mac OSX Docker下搭建Android+Jenkins+Gitlab,elasticsearch需要暴露两个端口,9200和9300,我们直接使用docker run命令运行一个elasticsearch容器。

docker run --name myes -d -p 9200:9200 -p 9300:9300 elasticsearch

容器运行起来后可以在日志中找到对应的ip:port,注意这里不能使用localhost,具体原因可能localhost指的是该容器本身,而我们需要在另一个容器中访问该容器,因此需要。。。。(计算机网络的内容忘得差不多了,专业术语无视就好)

这里写图片描述

从图中看到,ip加端口的值为172.17.0.2:9200

kibana的安装

kibana容器的运行需要指定elasticsearch的url,通过环境变量传递进去即可,并暴露默认端口5601供浏览器访问

docker run --name mykibana -e ELASTICSEARCH_URL=http://172.17.0.2:9200 -p 5601:5601 -d kibana

到目前为止,还没有日志输入到es中,kibana自然也没有什么内容可以查询了。

Logstash的安装

docker运行logstash的容器的时候,需要指定输入输出及过滤器,我们先使用控制台输入,然后输出到控制台。

docker run -it --rm logstash -e 'input { stdin { } } output { stdout { } }'

然后在控制台输入helloworld,你就能立即看到输出了

这里写图片描述

文章开头说到了日志内容不能被解析的问题,简单尝试了下,可以进行解析,不过需要对logstash的配置进行修改

input { 
//控制台输入
    stdin { } 
} 

filter { 
//kv插件,每一对使用|分割,kv使用=分割
    kv { 
        source => "message" 
        field_split => "|" 
        value_split => "=" 
    } 
//将args作为输入再次分割
    kv {
        source => "args" 
        field_split => "&"
        value_split => "=" 
    }
} 
output { 
//输出到es
    elasticsearch {  
        hosts => ["172.17.0.2:9200"] 
    } 
//同时输出到控制台
    stdout { 
        codec => rubydebug 
    } 
}

这里使用了kv插件进行解析,举一个例子,我的日志输入内容为:

arg1=a1|arg2=b2|arg3=c3|args=a=b&b=c&c=d&d=e

最终上面的内容会被解析成

arg1=a1
arg2=b2
arg3=c3
a=b
b=c
c=d
d=e

运行docker命令,传入刚刚的logstash的配置

docker run -it --rm logstash -e 'input { stdin { } } filter { kv { source => "message" field_split => "|" value_split => "=" } kv { source => "args" field_split => "&" value_split => "=" } } output { elasticsearch {  hosts => ["172.17.0.2:9200"] } stdout { codec => rubydebug } }'

在控制台中输入

arg1=a1|arg2=b2|arg3=c3|args=a=b&b=c&c=d&d=e

然后控制台就会输出解析后的内容

这里写图片描述

打开kibana验证一下,浏览器输入http://localhost:5601/,先建立索引,直接点击create即可

这里写图片描述

然后就能看的解析后的内容了

这里写图片描述

如果字段上出现黄色的警告,必要时到Setting Tab刷新一下filed list即可。

总结

经过自己的一番实验,对于args中的内容,解析出来是完全没有什么问题的,关键在于logstash的配置问题,然后问题并没有这么简单,对于同一个配置,发现一部分日志中的args能被解析出来,还有大部分的日志的args并不能解析出来,这个原因没找到。。。。。同一种方式解析,理论上应该不存在一部分解析的出来一部分解析不出来,除非使用的配置是不一样的。

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页