ELK 日志分析系统

实际情况下，索引存储的数据可能超过单个节点的硬件限制，如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了，为了解决这个问题，elasticsearch提供将索引分成多个分片的功能，当在创建索引时，可以定义想要分片的数量。每个分片就是一个全功能的独立索引，可以位于集群中任何节点上。

分片：
1、水平分割扩展，增大存储量
2、分布式并行跨分片操作，提供性能和吞吐量

分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的

网络问题等等其他问题可以在任何时候不期而至，为了健壮性，强烈建议要有个故障切换机制，无论何种故障以防止分片或者节点不可用，为此，elasticsearch让我们将索引分片复制一份或多份，称为分片副本或副本

副本：
1、高可用性，以应对分片或者节点故障，出于这个原因，分片副本要在不同的节点上
2、性能加强，增加吞吐量，搜索可以并行在所有副本上执行

三、LogStash概述

一款强大的数据处理工具
可实现数据传输、格式处理、格式化输出
数据输入、数据加工（如过滤，改写等）以及数据输出

由三个组件组成：Input、Output、Filter Plugin

Input：获取日志
Output：输出日志
Filter Plugin：过滤日志、格式处理

1、LogStash主要组件

Shipper
Indexer
Broker
Search and Storage
Web Interface

四、Kibana概述

一个针对Elasticsearch的开源分析及可视化平台
搜索、查看存储在Elasticsearch索引中的数据
通过各种图表进行高级数据分析及展示

1、Kibana主要功能

Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员收益
接口灵活，分享更容易
配置简单、可视化多数据源
简单数据导出

五、部署ELK日志分析系统

1、实验需求

1、配置ELK日志分析集群
2、使用Logstash收集日志
3、使用Kibana查看分析日志

2、环境配置

主机	操作系统	IP地址	安装包 / 软件 / 工具
node1	CentOS7	192.168.159.101	Elasticsearch
node2	CentOS7	192.168.159.102	Elasticsearch
apache	CentOS7	192.168.159.103	httpd / Logstash
客户机	Windows		——

所有节点，关闭系统防火墙和安全机制

systemctl stop firewalld.service
setenforce 0

node1（192.168.159.101）

hostnamectl set-hostname node1
su -

node2（192.168.159.102）

hostnamectl set-hostname node2
su -

apache（192.168.159.103）

hostnamectl set-hostname apache
su -

两个节点
两台node节点都在主机映射文件中写入
node1和node2的IP和对应主机名
apache节点无需写入

[root@apache ~]# echo '192.168.159.101 node1' >> /etc/hosts

[root@apache ~]# echo '192.168.159.102 node2' >> /etc/hosts

3、配置elasticsearch环境（node1、node2）

node1（192.168.159.101）
node2（192.168.159.102）

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

==17==
cluster.name: my-elk-cluster

==23==
node.name: node1						#注意！：node2节点设置为node2

==33==
path.data: /data/elk_data 

==37==
path.logs: /var/log/elasticsearch/

==43==
bootstrap.memory_lock: false 

==55==
network.host: 0.0.0.0

==59==
http.port: 9200

==68==
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

systemctl start elasticsearch
netstat -antp |grep 9200

1、此时客户机访问，查看节点信息

http://192.168.159.101:9200
http://192.168.159.102:9200

2、检测集群健康、查看集群状态

http://192.168.159.101:9200/_cluster/state?pretty
http://192.168.159.102:9200/_cluster/state?pretty

3、安装elasticsearch-head插件

安装elasticsearch-head插件后，来管理集群

node1（192.168.159.101）
node2（192.168.159.102）

yum -y install gcc gcc-c++ make 

cd /opt
rz node-v8.2.1.tar.gz
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure 
make
make install



yum -y install gcc gcc-c++ make  #安装依赖关系

cd /opt               
rz node-v8.2.1.tar.gz
tar xzvf node-v8.2.1.tar.gz   #解压
cd node-v8.2.1/ 
./configure            #编译 安装
make
make install


安装过程很长 耐心等待........................................................

cd /usr/local/src
rz phantomjs-2.1.1-linux-x86_64.tar.bz2

tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2


cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

cd /usr/local/src/
rz elasticsearch-head.tar.gz

tar xzvf elasticsearch-head.tar.gz





cd /usr/local/src                           #切换到/usr/local/src/目录下
rz phantomjs-2.1.1-linux-x86_64.tar.bz2       #放入前端框架安装包

tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2


cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin              #将phantomjs可执行命令复制到路径环境变量中，
便于系统识别，也可以使用软链接

cd /usr/local/src/                #切换到/usr/local/src目录下，放入数据可视化工具安装包elasticsearch
rz elasticsearch-head.tar.gz

tar xzvf elasticsearch-head.tar.gz

cd elasticsearch-head/
npm install

vim /etc/elasticsearch/elasticsearch.yml
==末行插入==
http.cors.enabled: true
http.cors.allow-origin: "*"

systemctl restart elasticsearch

cd /usr/local/src/elasticsearch-head/
npm run start &

netstat -lnupt |grep 9100
netstat -lnupt |grep 9200




cd elasticsearch-head/                    #切换到刚刚解压好的目录
npm install                    

vim /etc/elasticsearch/elasticsearch.yml  #安装
==末行插入==                               #修改主配置文件，末行插入
http.cors.enabled: true                   #开启跨域访问支持 
http.cors.allow-origin: "*"               #跨域访问允许的域名地址

systemctl restart elasticsearch            #修改完主配置文件重启服务

cd /usr/local/src/elasticsearch-head/ 
npm run start &                          #开启服务在后台工作

netstat -lnupt |grep 9100                #查看端口

netstat -lnupt |grep 9200

客户机打开浏览器输入

http://192.168.159.101:9100 
http://192.168.159.102:9100

可以看见群集很健康是绿色

在Elasticsearch 后面的栏目中输入

http://192.168.159.101:9200   
http://192.168.159.102:9200

点连接：集群健康值: green (0 of 0)
node1信息动作
node2信息动作

node1（192.168.159.101）
索引为index-demo,类型为test,可以看到成功创建

curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

客户机访问，查看索引信息

http://192.168.159.101:9100

看见索引默认被分片5个，并且有一个副本

4、安装logstash

安装logstash并做一些日志搜集输出到elasticsearch中

apache（192.168.159.103）

yum -y install httpd
systemctl start httpd    

cd /opt
rz logstash-5.5.1.rpm 

rpm -ivh logstash-5.5.1.rpm   

systemctl start logstash.service     
systemctl enable logstash.service




yum -y install httpd      #安装阿帕奇服务
systemctl start httpd    

cd /opt
rz logstash-5.5.1.rpm      #将安装包logstash-5.5.1.rpm放入/opt目录下实现数据传输，格式处理，数据输出

rpm -ivh logstash-5.5.1.rpm   #安装

systemctl start logstash.service     #开启logstash服务 
systemctl enable logstash.service    开启logstash服务开机自启

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

logstash -e 'input { stdin{} } output { stdout{} }'

Logstash API endpoint {:port=>9600}
www.baidu.com                					    ####需要输入www.baidu.com

www.sina.com.cn                                     ####需要输入www.sina.com.cn

Ctrl + c







ln -s /usr/share/logstash/bin/logstash /usr/local/bin/   #创建软链接，便于系统识别

logstash -e 'input { stdin{} } output { stdout{} }'    #-e是将后面的字符当作配置文件，写入标准输入，输出标准输出

Logstash API endpoint {:port=>9600}
www.baidu.com                					    ####需要输入www.baidu.com

www.sina.com.cn                                     ####需要输入www.sina.com.cn

Ctrl + c

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
##rubydebug显示详细输出，codec为一种解码器，将我输入的内容，解码后进行详细输出

Logstash API endpoint {:port=>9600}
www.baidu.com                        ##输入
{
   

}
Ctrl + c

1、使用logstash将信息写入elasticsearch中，输入输出对接

[root@apache opt]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.159.101:9200"] } }'

##输入标准输入，输出到elasticsearch上（192.168.159.101:9200）logstash和elasticsearch对接


Logstash API endpoint {:port=>9600}
www.baidu.com                     ###输入内容
www.sina.com.cn                   ###输入内容
www.google.com.cn                 ###输入内容
Ctrl c

真机访问，查看索引信息

打开浏览器输入http://192.168.159.101:9100/ 查看索引信息
多出 logstash-2021.12.16

2、apache（192.168.159.103）做对接配置

chmod o+r /var/log/messages
ll /var/log/messages

vim /etc/logstash/conf.d/system.conf 
input {
       file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["192.168.159.101:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }










chmod o+r /var/log/messages     #给其他用户加可读权限       
ll /var/log/messages


vim /etc/logstash/conf.d/system.conf   #编辑logstash配置文件
input {                                #输入
       file{                           #文件
        path => "/var/log/messages"    #路径：/var/log/messages
        type => "system"               #类型：system
        start_position => "beginning"  #起始点：beginning

        }
      }
output {                                               #输出到
        elasticsearch {
          hosts => ["192.168.159.101:9200"]        #主机192.168.184.10:9200
          index => "system-%{+YYYY.MM.dd}"         #索引：system-……
          }
        }


systemctl restart logstash.service

客户端
打开浏览器输入http://192.168.159.101:9100/ 查看索引信息###

多出 system-2021.12.16

在node1主机安装kibana

cd /usr/local/src/                                     #放入安装包
rz kibana-5.5.1-x86_64.rpm

rpm -ivh kibana-5.5.1-x86_64.rpm                        #安装

cd /etc/kibana/
cp kibana.yml kibana.yml.bak                             #备份

vim kibana.yml
2/ server.port: 5601               		 				#kibana打开的端口
7/ server.host: "0.0.0.0"          						#kibana侦听的地址
21/ elasticsearch.url: "http://192.168.159.101:9200"     #和elasticsearch建立联系
30/ kibana.index: ".kibana"              				#在elasticsearch中添加.kibana索引

systemctl start kibana.service                           #开启服务
systemctl enable kibana.service                          #加入开机自启

客户机访问

192.168.159.101:5601

对接apache日志文件（访问、错误）

cd /etc/logstash/conf.d/

vim apache_log.conf
input {
       file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
        }
       file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
        }
        
      }
output {
        if [type] == "access" {
        elasticsearch {
          hosts => ["192.168.159.101:9200"]
          index => "apache_access-%{+YYYY.MM.dd}"
          }
        }
        if [type] == "error" {
        elasticsearch {
          hosts => ["192.168.159.101:9200"]
          index => "apache_error-%{+YYYY.MM.dd}"
          }
        }
        }

/usr/share/logstash/bin/logstash -f apache_log.conf

客户机输入http://192.168.159.101
打开浏览器输入http://192.168.159.101:9100/ 查看索引信息

apache_error-2021.12.16 apache_access-2021.12.16

输入http://192.168.159.101:5601
点击左下角有个management选项—index patterns—create index pattern
----分别创建apache_error-* 和 apache_access-* 的索引

一只小毛驴呀

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
ELK 日志分析系统

目录一、ELK日志分析系统1、日志服务器2、日志处理步骤二、Elasticsearch概述1、Elasticsearch特性三、LogStash概述1、LogStash主要组件四、Kibana概述1、Kibana主要功能五、部署ELK日志分析系统1、实验需求2、环境配置3、配置elasticsearch环境（node1、node2）1、此时客户机访问，查看节点信息2、检测集群健康、查看集群状态3、安装elasticsearch-head插件.
复制链接

扫一扫