概述
ELK日志分析系统
Elasticsearch + Logstash + Kibana
Elasticsearch 提供一个分布式存储日志、多用户能力的全文搜索引擎
Logstash 强大的数据处理工具,收集日志文件,转换日志格式后递交给Elasticsearch存储
Kibana 搜索、查看存储在Elasticsearch索引中的数据,对数据进行分析
Elasticsearch的概述
提供了一个分布式多用户能力的全文搜索引擎
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。
Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
Logstash概述
一款强大的数据处理工具,可实现数据传输、格式处理、格式化输出
数据输入、数据加工(如过滤,改写等)以及数据输出
Kibana概述
一个针对Elasticsearch的开源分析及可视化平台,搜索、查看存储在Elasticsearch索弓|中的数据,通过各种图表进行高级数据分析及展示
配置ELK日志分析系统
4台主机,2个elasticsearch节点,并监控apache服务器日志,所有主机的防火墙和核心防护都关闭
node1: 20.0.0.10
node2: 20.0.0.20
apache: 20.0.0.30
localhost:20.0.0.40
安装elasticsearch
查看Java环境,如果没有需要自己搞jdk
java -version
把elasticsearch压缩包放到/opt目录并解压
rpm -ivh elasticsearch-5.5.0.rpm
重载守护进程
systemctl daemon-reload
设为开机自启
systemctl enable elasticsearch.service
进入elasticsearch目录备份文本
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
17行 clushter.name: my-elk-cluster
23行 node.name: node1
33行 path.data: /data/elk_data
37行 path.logs: /var/log/elasticsearch/
43行 bootstrap.memory_lock: false
55行 network.host: 0.0.0.0
59行 http.port: 9200
68行 discovery.zen.ping.unicast.hosts: ["node1","node2"]
创建数据存放目录
mkdir -p /data/elk_data
给权限
chown elasticsearch.elasticsearch /data/elk_data/
启动ela服务
systemctl start elasticsearch.service
端口查看
netstat -anpt |grep 9200
node2跟node1一样的配置
验证
宿主机访问 http://20.0.0.10:9200 http://20.0.0.20:9200
集群健康检查和状态:
宿主机访问 http://20.0.0.10:9200/_cluster/health?pretty
http://20.0.0.20:9200/_cluster/statepretty
安装elasticsearch-head
[root@node1 ~]# yum -y install gcc gcc-c++ make
安装node组件
[root@node1 ~]# tar -zxvf node-v8.2.1.tar.gz
[root@node1 ~]# cd node-v8.2.1
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j3 && make install #-j3 通过多线程加块make速度
安装phantomjs
[root@node1 ~]# tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/bin
[root@node1 bin]# cp phantomjs /usr/local/bin/ #命令优化,能直接敲不用输绝对路径
安装elasticsearch-head
[root@node1 ~]# tar -zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install #这里需要npm安装
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true #开启跨域访问支持,默认为false
http.cors.allow-origin: "*" #跨域访问允许的域名地址
[root@node1 ~]# systemctl restart elasticsearch
[root@node1 ~]# netstat -anutp | grep 9200
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &
[root@node2 ~]# cd /usr/local/src/elasticsearch-head/
[root@node2 elasticsearch-head]# npm run start & #在哪台上开启,就可以访问哪台主机的9100端口
[1] 66994
[root@node2 elasticsearch-head]#
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
浏览器访问20.0.0.10:9100 #node2也可以一样被访问
最上面一排显示 Elasticsearch http://localhost:9200 连接 群集健康值:未连接
将http://localhost:9200 改为http://20.0.0.10:9200 后,点击“连接”,就可以连接上了
登录node1主机 手动创建索引index-demo,类型为test
[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}
在浏览器里刷新一下,即可看到索引index-demo,默认被分成5片,并且每片都有一个副本,也可以在页面创建索引
安装logstash
apache20.0.0.30安装logstash,并做一些日志收集输出到elasticsearch
[root@promote ~]# hostnamectl set-hostname apache
[root@promote ~]# su
[root@apache ~]# yum -y install httpd
[root@apache ~]# yum -y install java
安装logstash
[root@apache ~]# rpm -ivh logstash-5.5.1.rpm
[root@apache ~]# systemctl start logstash
[root@apache ~]# systemctl enable logstash
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.
[root@apache ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
logstash (Apache) 与elasticsearch (node)功能是否正常,做对接测试###
Logstash这个命令测试
字段描述解释:
-f通过这 个选项可以指定logstash的配置文件,根据配置文件配置logstash
-e后面跟着字符串 该字符串可以被当做logstash的配置 (如果是” ”, 则默认 使用stdin做为输入、 stdout作为输出)
[root@apache ~]# logstash -e 'input { stdin{} } output { stdout{} }'
...
20:04:25.430 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com #手动输入
2020-10-29T12:04:38.400Z apache www.baidu.com #返回
[root@apache ~]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
...
20:06:39.797 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.kgc.com
{
"@timestamp" => 2020-10-29T12:06:48.143Z,
"@version" => "1",
"host" => "apache",
"message" => "www.kgc.com"
}
[root@apache ~]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["20.0.0.10:9200"] } }'
...
20:09:11.953 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com
www.sina.com
访问浏览器20.0.0.185:9100 刷新索引发现多了logstash-2020.10.29,并且查看数据会发现baidu与sina日志记录
配置logstash
[root@apache ~]# vim /etc/logstash/conf.d/system.conf
input { #日志输入
file {
path => "/var/log/messages" #日志文件路径
type => "system" #类型,可自定义,在创建索引时要对应
start_position => "beginning"
}
}
output { #日志输出
elasticsearch {
hosts => ["20.0.0.10:9200"] #elasticsearch的主机及端口号
index => "system-%{+YYYY.MM.dd}" #索引名称
}
}
刷新192.168.100.11:9100,查看索引信息,多出system-2020.10.29
安装kibana
再找一台主机20.0.0.40安装kibana,来辅助我们进行日志分析统计
[root@localhost ~]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@localhost ~]# cd /etc/kibana/
[root@localhost kibana]# cp kibana.yml kibana.yml.bak
[root@localhost kibana]# vim kibana.yml
2 server.port: 5601 #端口号
7 server.host: "0.0.0.0" #对所有地址都可用
21 elasticsearch.url: "http://20.0.0.10:9200" #elasticsearch的url地址
30 kibana.index: ".kibana"
[root@localhost kibana]# systemctl enable kibana
Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service.
[root@localhost kibana]# systemctl start kibana
[root@localhost kibana]# netstat -anutp | grep 5601
tcp 0 0 0.0.0.0:5601 0.0.0.0:* LISTEN 18751/node
浏览器访问20.0.0.40:5601
下面来对接apache日志的信息 apache服务器
[root@apache ~]# cd /etc/logstash/conf.d/
[root@apache conf.d]# ls
system.conf
[root@apache conf.d]# vim apache_log.conf
input {
file {
path => "/etc/httpd/logs/access_log" #apache日志路径
type => "access"
start_position => "beginning"
}
file {
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["20.0.0.10:9200"]
index => "access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["20.0.0.10:9200"]
index => "error-%{+YYYY.MM.dd}"
}
}
}
[root@apache conf.d]# cd /etc/httpd/logs/
[root@apache logs]# ls
[root@apache logs]# systemctl start httpd
[root@apache logs]# ls
access_log error_log
[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf #注意当前工作目录/etc/logstash/conf.d/
...
21:20:27.400 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9601}
浏览器访问20.0.0.40:5601
首次登陆创建一个索引 名字:error-* #这个是对接的apache错误日志点击下面的create 按钮,在最左上角Discover按钮,会发现error-* 的信息
浏览器访问apache网页产生access日志,在kibana上也能创建access-*索引,也能查看其相关信息