ELK日志分析系统

日志服务器

        提高安全性

        集中存放日志

        缺陷

                对日子分析困难

日志分析步骤

        将日志进行集中化管理

        将日志格式化（Logstash）并输出到Elasticsearch

        对格式化后的数据进行索引和存储（Elasticsearch）

        前端数据的展示

Elasticsearch的概述

        提供了一个分布式多用户能力的全文搜索引擎

Elasticsearch核心概念

        接近实时

        集群

        节点

        索引

                索引（库）→类型（表）→文档（记录）

        分片和副本

Logstash介绍

        一款强大的数据处理工具

        可实现数据传输、格式处理、格式化输出

        数据输入、数据加工（如过滤，改写等）以及数据输出

LogStash主要组件

        Shipper

        Indexer

        Broker

        Search and Storage

        Web Interface

Libana介绍

        一个针对Elasticsearch的开源分析及可视化平台

        搜索、查看存储在Elasticsearch索引中的数据

        通过各种图表进行高级数据分析及展示

Kibana主要功能

        Elasticsearch无缝之集成

        整合数据，复杂数据分析

        让更多团队成员受益

        接口灵活，分享更容易

        配置简单，可视化多数据源

        简单数据导入

部署ELK

       1.基础环境

        关闭防火墙
                systemctl stop firewalld
                systemctl disable firewalld
        关闭内核安全机制
                setenforce 0
                sed -i
                "S/ASELINUX=.*/SELINUX=disabled/g
                /etc/selinux/config
        修改主机名
                hostnamectl set-hostname node2
                hostnamectl set-hostname node1
                hostnamectl set-hostname apache

        2.在三台节点上配置host解析

cat >> /etc/hosts << EOF
192.168.27.152 node1
192.168.27.153 node2
192.168.27.154 apache
EOF

                测试时间是否同步

#用date看日志是否与宿主机一致
date
#chronyc sources -v 如果有任何一条^*回显就是跟宿主机时间一致
chronyc sources -v

        3.在node节点上

#安装依赖
yum -y install java-1.8.0-openjdk

                上传rpm包（elasticsearch-5.5.0.rpm），执行安装

rpm -ivh elasticsearch-5.5.0.rpm

                重启服务

systemctl daemon-reload
systemctl enable elasticsearch.service

        4.在node1上编辑配置文件，并传入node2覆盖（也可修改node2的达成一致）

vi /etc/elasticsearch/elasticsearch.yml

/data/elk_data
/var/log/elasticsearch/

 

scp /etc/elasticsearch/elasticsearch.yml root@node2:/etc/elasticsearch/

                        传输完成后，打开配置文件，修改

vi /etc/elasticsearch/elasticsearch.yml

                        创建配置文件所需的目录文件，给予权限 

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch -R /data/
systemctl start elasticsearch.service
ss -nlpt | grep 9200

                5.查看集群健康状态信息

curl 192.168.27.153:9200
curl 192.168.27.153:9200/_cluster/health?pretty
#绿色为健康
#黄色为警告
#红色代表有错误

                        查看集群索引 

curl 192.168.27.153:9200/_cat/indices?pretty

                6.在第三台机器安装依赖包

yum -y install java-1.8.0-openjdk

                        上传软件包（logstash-5.5.1.rpm）

#安装启动
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

                        编辑配置文件的采集日志

vi /etc/logstash/conf.d/system.conf

input { 
  file{ 
    path =>"/var/log/messages" 
    type =>"system" 
    start_position =>"beginning" 
  } 
}
output { 
  elasticsearch { 
    hosts => ["192.168.27.152:9200"] 
    index =>"system-%{+YYYY.MM.dd}" 
  } 
}

                        保存退出，给予执行权限，重启服务

chmod +r /var/log/messages
systemctl restart logstash

                        在第一台查看健康，会有回显信息（采集成功）

curl 192.168.27.152:9200/_cat/indices?pretty

                7.在第一台机器上传包（kibana-5.5.1-x86_64.rpm）

rpm -ivh kibana-5.5.1-x86_64.rpm
systemctl enable kibana.service
vi /etc/kibana/kibana.yml

                        调整配置文件

                                        监听地址为当前节点的地址                         开启服务，过滤端口号

                        浏览器搜素

                        创建节点，查看状态

                8.安装网站

                        1.在apache节点安装并启动

yum -y install httpd
systemctl start httpd

                         2.在节点2模拟数据流量请求

for i in $(seq 1 10000);do curl 192.168.27.154 ;sleep 1;done

                        3.在apache节点，编写日志采集的文件

vi /etc/logstash/conf.d/apache_log.conf

input {
  file{ 
    path =>"/var/log/httpd/access_log"  
    type =>"access" 
    start_position =>"beginning" 
  }
  file {
    path =>"/var/log/httpd/error_log" 
    type =>"error" 
    start_position =>"beginning" 
  }
}

output {
  if [type] == "access" { 
    elasticsearch { 
      hosts => ["192.168.27.152:9200"] 
      index =>"apache_access-%{+YYYY.MM.dd}" 
    }
  }
  if [type] == "error" { 
    elasticsearch { 
      hosts => ["192.168.27.152:9200"]
      index =>"apache_error-%{+YYYY.MM.dd}"
    }
  }
}

                        4.给予权限，重启服务

chmod -R 777 /var/log/httpd
systemctl restart logstash

                        5.回到node1节点查看索引

                        6.浏览器添加apache和error的日志 

 

                                在node1节点上配置model 

                                 浏览器验证