一、elk简介
开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成：
- ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
在elasticsearch中，所有节点的数据是均等的。 - Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。
- Kibana 是一个基于浏览器页面的Elasticsearch前端展示工具，也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
部署环境：
CentOS7.2 版本号1611，elasticsearch5.2.2，logstash5.2.2,kibana5.2.2.虚拟机内存要大于2G。关闭防火墙和SELinux。
1.java环境
[root@elk-node1 ~]# yum install -y java-1.8.0
[root@elk-node1 ~]# java -version
openjdk version "1.8.0_121"
OpenJDK Runtime Environment (build 1.8.0_121-b13)
OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)2.elasticsearch安装
1. 导入elasticsearch PGP key
[root@elk-node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch2.配置yum源和修改hosts文件
[root@elk-node1 ~]# vim /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-5.x]
name=Elasticsearch repository for5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
[root@elk-node1 ~]# echo "192.168.217.131 elk-node1" >> /etc/hosts
[root@elk-node1 ~]# echo "192.168.217.132 elk-node1" >> /etc/hosts3.安装elasticsearch及修改配置文件
[root@elk-node1 ~]# yum install elasticsearch -y
[root@elk-node1 ~]# systemctl daemon-reload
[root@elk-node1 ~]# systemctl enable elasticsearch.service //添加开机自启
[root@elk-node1 ~]# grep -v ^# /etc/elasticsearch/elasticsearch.yml
cluster.name: elk //集群名
node.name: elk-node-1 //节点名
path.data: /var/lib/elasticsearch //data存储路径
path.logs: /var/log/elasticsearch //log存储路径
network.host: 0.0.0.0 //监听地址
http.port: 9200 //监听端口
discovery.zen.ping.unicast.hosts: ["192.168.217.131", "192.168.217.132"] //集群节点发现列表
discovery.zen.minimum_master_nodes: 2 //集群可做master的最小节点数
http.cors.enabled: true
http.cors.allow-origin: "*"4.配置head插件
[root@elk-node1 ~]# wget https://nodejs.org/dist/v6.9.5/node-v6.9.5-linux-x64.tar
[root@elk-node1 ~]# tar -xvf node-v6.9.5-linux-x64.tar -C /usr/local/
[root@elk-node1 ~]# ln -s node-v6.9.5-linux-x64/bin/node /usr/bin/node
[root@elk-node1 ~]# ln -s node-v6.9.5-linux-x64/bin/npm /usr/bin/npm
[root@elk-node1 ~]# node -v
v6.9.5
[root@elk-node1 ~]# npm -v
3.10.10
[root@elk-node1 ~]# npm install -g grunt-cli
[root@elk-node1 ~]# ln -s node-v6.9.5-linux-x64/lib/node_modules/grunt-cli/bin/grunt /usr/bin/grunt
[root@elk-node1 ~]# cd /var/lib/elasticsearch
[root@elk-node1 elasticsearch]# yum install -y git
[root@elk-node1 elasticsearch]# git clone git://github.com/mobz/elasticsearch-head.git
[root@elk-node1 elasticsearch]# chown -R elasticsearch:elasticsearch elasticsearch-head/
[root@elk-node1 elasticsearch]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# npm install
[root@elk-node1 elasticsearch-head]# cd /var/lib/elasticsearch/elasticsearch-head/_site/
[root@elk-node1 _site]# cp app.js app.js.bak
[root@elk-node1 _site]# vim app.js
init: function(parent) {
this._super();
this.prefs = services.Preferences.instance();
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.217.131:9200"; //修改4328行
[root@elk-node1 _site]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# cp Gruntfile.js Gruntfile.js.bak
[root@elk-node1 elasticsearch-head]# vim Gruntfile.js
connect: {
server: {
options: {
hostname: "0.0.0.0", //添加这一行
port: 9100,
base: '.',
keepalive: true
}
}
}
[root@elk-node1 elasticsearch-head]# systemctl start elasticsearch.service
[root@elk-node1 elasticsearch-head]# grunt server &
[root@elk-node1 elasticsearch-head]# netstat -anplut //检查9200,9300,9100端口5.打开浏览器，进行验证
访问http://192.168.217.131:9200/进行验证
访问http://192.168.217.131:9100/进行验证
没安装logstash和kibana时，划红线部分是空白。
3.安装logstash
1.yum安装
[root@elk-node1 ~]# yum isntall -y logstash
[root@elk-node1 ~]# cd /etc/logstash/
[root@elk-node1 logstash]# grep -v "#" logstash.yml
path.data: /var/lib/logstash
path.config: /etc/logstash/conf.d
path.logs: /var/log/logstash2.pipeline文件
根据默认配置，pipeline实例文件默认应放置于/etc/logstash/conf.d目录，此时目录下无实例文件，可根据实际情况新建实例，以处理本机messages信息为例，如下：
[root@elk-node1 logstash]# cd /etc/logstash/conf.d/
[root@elk-node1 conf.d]# vim messages.conf
input {
file {
path => "/var/log/messages"
}
}
output {
elasticsearch {
hosts => ["192.168.217.131:9200","192.168.217.132:9200"]
index => "messages-%{+YYYY.MM.dd}"
}
stdout {
# codec => rubydebug
}
}
[root@elk-node1 conf.d]# cd ..
[root@elk-node1 logstash]# chown -R logstash:logstash conf.d/
[root@elk-node1 logstash]# chmod 644 /var/log/messages3.启动验证
1)启动测试
[root@elk-node1 logstash]# cd /usr/share/logstash/
[root@elk-node1 logstash]# bin/logstash -e 'input { stdin { } } output { stdout {} }'
WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path /usr/share/logstash/config/log4j2.properties. Using default config which logs to consolelogstash可以启动，但此种验证方式会有告警，可以提示方式处理，在“$LS_HOME”下建立“config”目录，并将”/etc/logstash/”下的文件建软链接到“config”目录，再次执行即可，如下：
[root@elk-node1 logstash]# mkdir -p /usr/share/logstash/config/
[root@elk-node1 logstash]# ln -s /etc/logstash/* /usr/share/logstash/config
[root@elk-node1 logstash]# chown -R logstash:logstash /usr/share/logstash/config/
[root@elk-node1 logstash]# bin/logstash -e 'input { stdin { } } output { stdout {} }'2）启动logstash并验证
[root@elk-node1 ~]#
systemctl start logstash
[root@elk-node1 ~]# systemctl enable logstash.service
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.
[root@elk-node1 ~]# netstat -anplut
//查看9600端口4.验证
访问http://192.168.217.131:9100/
4.安装kibana
1.yum安装kibana
[root@elk-node1 ~]# yum install -y kinaba
[root@elk-node1 ~]# cd /etc/kibana
[root@elk-node1 kibana]# grep -v ^# /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.217.131:9200"
[root@elk-node1 kibana]# systemctl start kibana
[root@elk-node1 kibana]# netstat -anplut |grep :5601
tcp 0 0 0.0.0.0:5601 0.0.0.0:* LISTEN 4335/node 2.浏览器访问验证
访问http://192.168.217.131:5601/
在红线部分添加messages-*，然后点击Discover，如果不能显示图形，请把时间选择一小时或更长。
2026
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
