http://www.tuicool.com/articles/QFvARfr
开源实时日志分析ELK平台部署
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。
通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的 syslog ,将所有服务器上的日志收集汇总。
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep 、 awk 和 wc 等 Linux 命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
开源实时日志分析 ELK 平台能够完美的解决我们上述的问题, ELK 由ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站:https://www.elastic.co/products
l Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据源,自动搜索负载等。
l Logstash 是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索)。
l kibana 也是一个开源和免费的工具,他 Kibana 可以为 Logstash 和ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
工作原理如下如所示:
在需要收集日志的所有服务上部署 logstash ,作为 logstash agent ( logstash shipper )用于监控并过滤收集日志,将过滤后的内容发送到 logstash indexer ,logstash indexer 将日志收集在一起交给全文搜索服务 ElasticSearch ,可以用ElasticSearch 进行自定义搜索通过 Kibana 来结合自定义搜索进行页面展示。
开源实时日志分析ELK平台部署流程:
( 1 )安装 Logstash 依赖包 JDK
Logstash 的运行依赖于 Java 运行环境, Logstash 1.5 以上版本不低于 java 7 推荐使用最新版本的 Java 。由于我们只是运行 Java 程序,而不是开发,下载 JRE 即可。首先,在 Oracle 官方下载新版 jre ,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
可以看到提供了多种版本,下载时,选择适合自己机器运行环境的版本,我使用的是 RHEL6.5 x86_64 的操作系统,所以,下载 linux-64 的版本。如果使用 Linux 下载执行如下命令下载即可。
#wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz
JDK 的安装方式比较简单,只需将下载回来的程序包解压到相应的目录即可。
# mkdir /usr/local/java # tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/
设置 JDK 的环境变量,如下:
# tail -3 ~/.bash_profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_45
export PATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
在 Shell 提示符中执行 java �version 命令,显示如下结果,说明安装成功:
# java -version java version "1.8.0_45" Java(TM) SE Runtime Environment (build 1.8.0_45-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02,mixed mode)
( 2 )安装 Logstash
下载并安装 Logstash ,安装 logstash 只需将它解压的对应目录即可,例如:/usr/local 下:
# https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
# tar �zxf logstash-1.5.2.tar.gz -C /usr/local/
安装完成后运行如下命令:
# /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Logstash startup completed
Hello World!
2015-07-15T03:28:56.938Z noc.vfast.com Hello World!
我们可以看到,我们输入什么内容logstash按照某种格式输出,其中-e参数参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。使用CTRL-C命令可以退出之前运行的Logstash。
使用-e参数在命令行中指定配置是很常用的方式,不过如果需要配置更多设置则需要很长的内容。这种情况,我们首先创建一个简单的配置文件,并且指定logstash使用这个配置文件。 例如:在 logstash 安装目录下创建一个“基本配置”测试文件 logstash-test.conf, 文件内容如下:
# cat logstash-simple.conf
input { stdin { } }
output {
stdout { codec=> rubydebug }
}
Logstash 使用 input 和 output 定义收集日志时的输入和输出的相关配置,本例中input 定义了一个叫 "stdin" 的 input , output 定义一个叫 "stdout" 的 output 。无论我们输入什么字符, Logstash 都会按照某种格式来返回我们输入的字符,其中 output被定义为 "stdout" 并使用了 codec 参数来指定 logstash 输出格式。
使用logstash的-f参数来读取配置文件,执行如下开始进行测试:
# echo "`date` hello World"
Thu Jul 16 04:06:48 CST 2015 hello World
# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-simple.conf
Logstash startup completed
Tue Jul 14 18:07:07 EDT 2015 hello World #该行是执行echo “`date`hello World” 后输出的结果,直接粘贴到该位置
{
"message" => "Tue Jul 14 18:07:07 EDT 2015 helloWorld",
"@version" => "1",
"@timestamp" => "2015-07-14T22:07:28.284Z",
"host" => "noc.vfast.com"
}
( 3 )安装 Elasticsearch
下载 Elasticsearch 后,解压到对应的目录就完成 Elasticsearch 的安装。
# tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/
启动 Elasticsearch
# /usr/local/elasticsearch-1.6.0/bin/elasticsearch
如果使用远程连接的 Linux 的方式并想后台运行 elasticsearch 执行如下命令:
# nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup &
确认 elasticsearch 的 9200 端口已监听,说明 elasticsearch 已成功运行
# netstat -anp |grep :9200
tcp 0 0 :::9200 :::* LISTEN 3362/java
接下来我们在 logstash 安装目录下创建一个用于测试 logstash 使用 elasticsearch作为 logstash 的后端的测试文件 logstash-es-simple.conf,该文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中。
# cat logstash-es-simple.conf
input { stdin { } }
output {
elasticsearch {host => "localhost" }
stdout { codec=> rubydebug }
}
执行如下命令
# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf
… …
Logstash startup completed
hello logstash
{
"message" => "hello logstash",
"@version" => "1",
"@timestamp" => "2015-07-15T18:12:00.450Z",
"host" => "noc.vfast.com"
}
我们可以使用 curl 命令发送请求来查看 ES 是否接收到了数据:
# curl 'http://localhost:9200/_search?pretty' 返回结果 { "took": 58, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "failed" : 0 }, "hits": { "total" : 1, "max_score" : 1.0, "hits" : [ { "_index" : "logstash-2015.07.15", "_type" : "logs", "_id" : "AU6TWiixxDXYhySMyTkP", "_score" : 1.0, "_source":{"message":"hellologstash","@version":"1","@timestamp":"2015-07-15T20:13:55.199Z","host":"noc.vfast.com"} } ] } }
至此,你已经成功利用 Elasticsearch 和 Logstash 来收集日志数据了。
( 4 )安装 elasticsearch 插件
Elasticsearch-kopf 插件可以查询 Elasticsearch 中的数据,安装 elasticsearch-kopf,只要在你安装 Elasticsearch 的目录中执行以下命令即可:
# cd /usr/local/elasticsearch-1.6.0/ # ./plugin -install lmenezes/elasticsearch-kopf
安装完成后在 plugins 目录下可以看到 kopf
# ls plugins/
kopf
在浏览器访问 http://10.1.1.188:9200/_plugin/kopf 浏览保存在 Elasticsearch 中的数据,如下所示:
( 5 )安装 Kibana
下载 kibana 后,解压到对应的目录就完成 kibana 的安装
# tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/
启动 kibana
# /usr/local/kibana-4.1.1-linux-x64/bin/kibana
使用 http://kibanaServerIP : 5601 访问 Kibana ,登录后,首先,配置一个索引,默认, Kibana 的数据被指向 Elasticsearch ,使用默认的 logstash-* 的索引名称,并且是基于时间的,点击“ Create ”即可。
看到如下界面说明索引创建完成。
点击“ Discover ”,可以搜索和浏览 Elasticsearch 中的数据,默认搜索的是最近 15分钟的数据。可以自定义选择时间。
到此,说明你的 ELK 平台安装部署完成。
( 6 )配置 logstash 作为 Indexer
将 logstash 配置为索引器,并将 logstash 的日志数据存储到 Elasticsearch ,本范例主要是索引本地系统日志。
# cat /usr/local/logstash-1.5.2/logstash-indexer.conf
input {
file {
type =>"syslog"
path => ["/var/log/messages", "/var/log/syslog" ]
}
syslog {
type =>"syslog"
port =>"5544"
}
}
output {
stdout { codec=> rubydebug }
elasticsearch {host => "localhost" }
}
# /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf
使用 echo 命令模拟写入日志,命令执行后看到如下图的信息
# echo "`date` 优衣库视频" >>/var/log/messages
刷新 kibana ,发现最新的测试数据显示到浏览器中,如下图所示:
到此, ELK 平台部署和基本的测试已完成。
--------------------------------------------------------------
http://www.ttlsa.com/elk/howto-install-elasticsearch-logstash-and-kibana-elk-stack/
Logstash是一个开源的用于收集,分析和存储日志的工具。 Kibana4用来搜索和查看Logstash已索引的日志的web接口。这两个工具都基于Elasticsearch。
- Logstash: Logstash服务的组件,用于处理传入的日志。
- Elasticsearch: 存储所有日志
- Kibana 4: 用于搜索和可视化的日志的Web界面,通过nginx反代
- Logstash Forwarder: 安装在将要把日志发送到logstash的服务器上,作为日志转发的道理,通过 lumberjack 网络协议与 Logstash 服务通讯
注意:logstash-forwarder要被beats替代了,关注后续内容。后续会转到logstash+elasticsearch+beats上。
ELK架构如下:
本文将安装Elasticsearch-1.7.2, Logstash-1.5.5, Kibana-4.1.1。 请注意版本要求,有些组件需要响应的版本要求。
安装java
Elasticsearch和Logstash需要Java。
我这里是以RPM安装的。也可以自行下载tar包,注意设置java路径。
java也可到这个地址下载https://www.reucon.com/cdn/java/
首先,要确保java环境安装正确,这一步搞不定,下面的无法进行。
安装Elasticsearch
RPM安装
tar包
tar包是二进制的,解压出来就可以使用。 还是建议使用RPM包安装,即使不想安装到系统默认路径,也可以通过--prefix=/usr/local安装到指定目录。
配置
我这里是单台,最好弄成集群。
安装一些elasticsearch插件
还有一些插件自行安装,如bigdesk ,kopf ,migration
migration 用来检测能否升级到elasticsearch最新版本。
安装Kibana
到https://www.elastic.co/downloads/kibana 找合适的版本,每个版本下面有这么一行内容,一定要注意这些内容:Compatible with Elasticsearch 1.4.4 - 1.7
也可以配置系统启动脚本,这里提供下,有需要的自行修改。4.x 版本通用
配置nginx
密码验证自行配置,参见之前文章。
安装Logstash
创建ssl证书
logstash、logstash-forwarder 依赖这,必须的。用于Logstash Forwarder验证logstash身份。Logstash Forwarder上面只需公钥,logstash需要配置公钥、私钥。在logstash服务器上生成ssl证书。
创建ssl证书有两种方式,一种指定IP地址,一种指定fqdn(dns)。
- IP地址
在[ v3_ca ]配置段下设置上面的参数。10.1.19.18是logstash服务端的地址。
注意将-days设置大点,以免证书过期。 - fqdn
不需要修改openssl.cnf文件。
将logstash.ttlsa.com换成你自己的域名。同时,到域名解析那添加logstash.ttlsa.com的A记录。
使用那种方式都行,不过如果logstash服务端的IP地址变换了,证书不可用了。
配置logstash
logstash配置文件是以json格式设置参数的,配置文件位于/etc/logstash/conf.d目录下,配置包括三个部分:输入端,过滤器和输出。
首先,创建一个01-lumberjack-input.conf文件,设置lumberjack输入,Logstash-Forwarder使用的协议。
再来创建一个11-nginx.conf用于过滤nginx日志
这个过滤器会寻找被标记为“nginx”类型(Logstash-forwarder定义的)的日志,尝试使用“grok”来分析传入的nginx日志,使之结构化和可查询。
type要与logstash-forwarder相匹配。
同时,注意将nginx日志格式设置成下面的:
日志格式不对,grok匹配规则要重写。
可以通过http://grokdebug.herokuapp.com/ 在线工具进行调试。多半ELK没数据错误在此处。
grok 匹配日志不成功,不要往下看了。搞对为止先。
同时,多看看http://grokdebug.herokuapp.com/patterns# grok匹配模式,对后面写规则匹配很受益的。
最后,创建一文件,来定义输出。
定义结构化的日志存储到elasticsearch,对于不匹配grok的日志写入到文件。
注意,后面添加的过滤器文件名要位于01-99之间。因为logstash配置文件有顺序的。
在调试时候,先不将日志存入到elasticsearch,而是标准输出,以便排错。
同时,多看看日志,很多错误在日志里有体现,也容易定位错误在哪。
在启动logstash服务之前,最好先进行配置文件检测,如下:
也可指定文件名检测,直到OK才行。不然,logstash服务器起不起来。
最后,就是启动logstash服务了。
安装logstash-forwarder
最后一步了。
需要将在安装logstash时候创建的ssl证书的公钥拷贝到每台logstash-forwarder服务器上。
配置logstash-forwarder
这也是个json个是的配置文件。json格式不对logstash-forwarder服务是启动不起来的。
后面就是启动logstash-forwarder服务了。
当上面的所有都配置正确的话,就可以访问kibana来查看数据了。
kibana展示数据
kibana就是elasticsearch查询工具。
其它内容,大伙多看看官方文档:https://www.elastic.co/guide/index.html
有问题提出来一起交流。