ELK日志文件分析系统

一、ELK日志分析系统简介

1-1、日志服务器

提高安全性
集中存放日志
缺陷-对日志分析困难

1-2、ELK日志分析系统

Elasticsearch
Logstash
Kibana

1-3、日志处理步骤

将日志进行集中化管理
将日志格式化（Logstash）并输出到Elasticsearch
对格式化的数据进行索引和存储（Elasticsearch）
前端数据的展示（Kibana）

二、Elasticsearch介绍

2-1、Elasticsearch的概述

提供一个分布式多用户能力的全文搜索引擎

2-2、Elasticsearch核心概念

接近实时
集群
节点
索引（库）→类型（表）→文档（记录）
分片和副本

三、Logstash介绍

3-1、Logstash介绍

一款强大的数据处理工具
可实现数据传输、格式处理、格式化输出
数据输入、数据加工（如过滤、改写等）以及数据输出

3-2、LogStash主要组件

Shipper
Indexer
Broker
Search and Storage
Web Interface

四、Kibana介绍

4-1、Kibana介绍

一个针对Elasticsearch的开源分析及可视化平台
搜索、查看存储在Elasticsearch索引中的数据
通过各种图表进行高级数据分析及展示

4-2、Kibana主要功能

Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员收益
接口灵活，分享更容易
配置简单，可视化多数据源
简单数据导出

五、部署ELK日志分析系统

5-1、案例拓扑

5-2、需求描述

配置ELK日志分析群集
使用Logstash收集日志
使用Kibana查看分析日志

5-3、实验步骤

Es群集
改名并在hosts文件中添加节点，方便后面使用（）
hostnamectl set-hostname node1
Vi /etc/hosts
添加以下配置文件
20.0.0.11 node1
20.0.0.12 node2
通过命令检查是否安装java及版本号
Java -version
######node1######
默认共享都开启了
mkdir /abc用来挂载安装包所在目录
mount.cifs //20.0.0.1/Users /abc
Cd /abc/jyf/Desktop/elk
rpm -ivh elasticsearch-5.5.0.rpm
systemctl daemon-reload开启守护进程
systemctl enable elasticsearch.service设置开机自启
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak对配置文件进行备份
对配置文件进行修改
vi elasticsearch.yml
17 cluster.name: my-elk-cluster ###集群名字
23 node.name: node1 ###节点名字
33 path.data: /data/elk_data ###数据存放路径
37 path.logs: /var/log/elasticsearch ###日志存放路径
43 bootstrap.memory_lock: false ###不启动的时候锁定内存
55 network.host: 0.0.0.0 ###提供服务绑定的IP地址，0.0.0.0代表所有地址
59 http.port: 9200 ###侦听端口为9200
68 discovery.zen.ping.unicast.hosts: [“node1”, “node2”] ###集群发现通过单播实现
（前面数字代表所在行数）
通过命令将反向将开头没有#开头的过滤出来，即把更改的过滤出来
grep -v “^#” /etc/elasticsearch/elasticsearch.yml

创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

启动服务并查看服务是否成功开启
systemctl start elasticsearch.service
netstat -ntap | grep 9200

在真机中检查群集健康状况
http://20.0.0.11:9200/_cluster/health?pretty

一般显示green就没问题

检查群集状态信息http://20.0.0.11:9200/_cluster/state?pretty

######安装head插件######
上述查看集群方式不方便，可通过安装head插件来管理集群
yum install gcc gcc-c++ make -y ###安装编译工具
cd /abc/jyf/Desktop/elk
tar zxvf elasticsearch/elasticseaarch.yml.tar.gz -C /opt
cd node-v8.2.1/
./configure
make -j3
make install

######安装phantomjs前端框架######
cd /abc/jyf/Desktop/elk/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

######安装elasticsearch-head######
cd /abc/jyf/Desktop/elk/
tar xzvf elasticsearch-head.tar.gz -C /usr/local/src/
npm install

######修改主配置文件######
vi /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true ###开启跨域访问支持，默认的是false
http.cors.allow-origin: “*” ###跨域访问允许的域名

######启动elasticsearch-head 启动服务器######
Cd /usr/local/src/elasticsearch-head
npm run start &

######检查端口是否开启######
netstat -ntap | grep 9100
netstat -ntap | grep 9200


也可以通过命令来查看
curl -XPUT ‘localhost:9200/index-demo/test/1?pretty&pretty’ -H ‘content-Type: application/json’ -d ‘{“user”:“jyf”,“mesg”:“hello world”}’

###########第三台服务器###########日志收集器
Hostnamectl set-hostname apache
Su
Yum install httpd -y
Systemctl start httpd
netstat -ntap | grep httpd
java -version
cd /abc/jyf/Desktop/elk/
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
###输入采用标准输入，输出采用标准输出###
logstash -e ‘input { stdin{} } output { stdout{} }’

###使用rubydebug显示详细输出，codec为一种解码器
logstash -e ‘input { stdin{} } output { stdout{ codec=>rubydebug } }’

###使用logstash将信息写入elasticsearch中###输入 输出 对接
logstash -e ‘input { stdin{} } output { elasticsearch { hosts=>[“20.0.0.11:9200”] } }’

数据的出口导向已经可以对接Es了

######logstash配置文件######
Logstash配置文件主要由三部分组成： input 、 output、 过滤器filter（根据需要）
chmod o+r /var/log/messages ###o代表others，r给读权限

vi /etc/logstash/conf.d/system.conf

input {
file {
path => “/var/log/messages”
type => “system”
start_position => “beginning”
}
}
output {
elasticsearch {
hosts => [“20.0.0.11:9200”]
index => “system-%{+YYY.MM.dd}”
}
}


###########node1主机安装kibana########
cd /abc/jyf/Desktop/elk/
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak

2 server.port: 5601 ###打开kibana端口
7 server.host: “0.0.0.0” ###kibana侦听地址
21 elasticsearch.url: “http://20.0.0.11:9200” ###和elasticsearch建立联系
30 kibana.index: “.kibana” ###在elasticsearch中添加kibana索引
systemctl start kibana.service
systemctl enable kibana.service