Linux：ELK：日志分析系统（使用elasticsearch集群）

于 2023-07-26 22:32:25 发布
阅读量1k 收藏
点赞数
分类专栏： Linux ELK 文章标签： elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w14768855/article/details/131903429
版权
该文详细介绍了如何在CentOS7环境下搭建ELK(由Elasticsearch、Logstash、Kibana组成的日志分析工具链)堆栈，包括日志的集中化管理、格式化、索引存储以及前端展示。通过在不同服务器上部署相关组件，实现了日志的收集、处理和可视化监控，涉及了elasticsearch集群配置、logstash的日志输入输出配置以及kibana的界面展示设置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原理

1. 将日志进行集中化管理（beats）

2. 将日志格式化（logstash）

将其安装在那个上面就对那个进行监控

3. 对格式化后的数据进行索引和存储（elasticsearch）

4. 前端数据的展示（kibana）

环境

要准备安装包

elasticsearch

elasticsearch-head

kibana

logstash

node

phantomjs

这些安装包都在网上很好找，自己去找最新的安装包也行，和我这个版本区别不大 

服务器（1）centos7 -- 192.168.254.1   -elasticsearch集群一份子，节点1（tarro1）节点1名字随便起

上面安装 elasticsearch，elasticsearch-head

服务器（2）centos7 -- 192.168.254.2   -elasticsearch集群一份子，节点2（tarro2）节点2名字随便起

上面安装 elasticsearch，elasticsearch-head logstash（监控其系统文件）

服务器（3）centos7 --  192.168.254.3 -- http服务

上面开启http服务   并安装 logstash（监控其系统文件）

 服务器（4）centos7 -- 192.168.254-3 -- kibana服务

上面开启kibana连接节点1和2 展示两位的收集出来的日志信息

 （1）和（2）要做一个集群hosts相互些写一下就行

全部关闭防火墙

全部关闭防火墙

全部关闭防火墙

 服务器（1）的配置

先将elasticsearch   elasticsearch-head  node   phantomjs   包放进去

hostnamectl set-hostname tarro1

 写入hosts

 安装java

yum -y install java
rpm -ivh elasticsearch-5.5.0.rpm 
systemctl daemon-reload
systemctl enable elasticsearch.service
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml 


 17 cluster.name: my-elk

 23 node.name: tarro1

 33 path.data: /data/elk_data

 37 path.logs: /var/log/elasticsearch/ 
 
 43 bootstrap.memory_lock: false

 55 network.host: 0.0.0.0

 59 http.port: 9200

 68 discovery.zen.ping.unicast.hosts: ["tarro1", "tarro2"]

前面的# 全去掉
群集名称 
17 cluster.name: my-elk-cluster
节点服务器名称
 23 node.name: node1
数据存放路径
 33 path.data: /data/elk_data
日志存放路径
 37 path.logs: /var/log/elasticsearch/ 
 
 在启动时不锁定内存
  43 bootstrap.memory_lock: false
  
提供服务绑定的ip地址，0.0.0.0表示所有地址
 55 network.host: 0.0.0.0
 
侦听端口
 59 http.port: 9200
 
群集发现通过单播实现
 68 discovery.zen.ping.unicast.hosts: ["node1", "node2"]
mkdir -p /data/elk_data
chown elasticsearch.elasticsearch /data/elk_data/
systemctl start elasticsearch.service
netstat -anpt | grep 9200

 

开启成功

yum -y install make gcc gcc-c++

tar xf node-v8.2.1.tar.gz
cd node-v8.2.1
./configure && make && make install

# 这里耐心等待，需要20分钟左右

tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/src
cp /usr/src/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/
tar xf elasticsearch-head.tar.gz -C /usr/src
cd /usr/src/elasticsearch-head/
npm install
vim /etc/elasticsearch/elasticsearch.yml 

末尾添加
http.cors.enabled: true
http.cors.allow-origin: "*"
systemctl restart elasticsearch
npm start &

 

如果你重启以后可以执行

cd /usr/src/elasticsearch-head/ && npm start &

快速启动 

成功

服务器（2）的配置

 先将elasticsearch   elasticsearch-head  node   phantomjs   logstash 包放进去

hostnamectl set-hostname tarro2 

 写入hosts

 安装java

yum -y install java
rpm -ivh elasticsearch-5.5.0.rpm 
systemctl daemon-reload
systemctl enable elasticsearch.service
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml 

17 cluster.name: my-elk

 23 node.name: tarro2

 33 path.data: /data/elk_data

 37 path.logs: /var/log/elasticsearch/ 
 
 43 bootstrap.memory_lock: false

 55 network.host: 0.0.0.0

 59 http.port: 9200

 68 discovery.zen.ping.unicast.hosts: ["tarro1", "tarro2"]

前面的# 全去掉
群集名称 
17 cluster.name: my-elk-cluster
节点服务器名称
 23 node.name: node1
数据存放路径
 33 path.data: /data/elk_data
日志存放路径
 37 path.logs: /var/log/elasticsearch/ 
 
 在启动时不锁定内存
  43 bootstrap.memory_lock: false
  
提供服务绑定的ip地址，0.0.0.0表示所有地址
 55 network.host: 0.0.0.0
 
侦听端口
 59 http.port: 9200
 
群集发现通过单播实现
 68 discovery.zen.ping.unicast.hosts: ["node1", "node2"]
mkdir -p /data/elk_data
chown elasticsearch.elasticsearch /data/elk_data/
systemctl start elasticsearch.service
netstat -anpt | grep 9200

 

成功

yum -y install make gcc gcc-c++
tar xf node-v8.2.1.tar.gz 
cd node-v8.2.1
./configure && make && make install

# 很久，耐心等待

tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/src

cp /usr/src/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/
tar xf elasticsearch-head.tar.gz -C /usr/src
cd /usr/src/elasticsearch-head/
npm install
vim /etc/elasticsearch/elasticsearch.yml 

末尾添加
http.cors.enabled: true
http.cors.allow-origin: "*"
systemctl restart elasticsearch

npm start &

 

如果你重启以后可以执行

cd /usr/src/elasticsearch-head/ && npm start &

快速启动 

成功

rpm -ivh logstash-5.5.1.rpm 
systemctl start logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
chmod o+r /var/log/messages 
vim /etc/logstash/conf.d/system.conf


input {
        file {
           path => "/var/log/messages"
           type => "system"
           start_position => "beginning"
        }
}

output {
        elasticsearch {
          hosts => ["192.168.254.1:9200"]
          index => "system-%{+YYYY.MM.dd}"
        }
}
#________________________________________

注释：
input {

    file {                             从文件中读取

        path => "/var/log/messages"    文件路径

        type => "system"

        start_position => "beginning"  是否从头开始读取

    }

}

output {

    elasticsearch {                        输出到elasticsearch中

        hosts => ["192.168.10.181:9200"]   elasticsearch主机地址和端口

        index => "system-%{+YYYY.MM.dd}"   索引名称

    }

}
---------------------------
systemctl restart logstash

现在就已经可以收集日志了，收集的是tarro2主机上的日志

这样就配置成功了

 服务器（3）的配置

yum -y install httpd
systemctl start httpd


 可以访问就行，这里主要将的不是http而是logstash

 将logstash 传入服务器（3）内

yum -y install java
rpm -ivh logstash-5.5.1.rpm 
systemctl daemon-reload

systemctl enable logstash.service
vim /etc/logstash/conf.d/apache_log.conf


input {
        file {
          path => "/etc/httpd/logs/access_log"
          type => "access"
          start_position => "beginning"

        }   

        file {
          path => "/etc/httpd/logs/error_log"
          type => "error"
          start_position => "beginning"

        }   
}

output {

        if [type] == "access" {
          elasticsearch {
                hosts => ["192.168.254.1:9200"]
                index => "apache_access-%{+YYYY.MM.dd}"
          }


        }


        if [type] == "error" {
          elasticsearch {
                hosts => ["192.168.254.1:9200"]
                index => "apache_error-%{+YYYY.MM.dd}"
          }


        }

}

ln -s /usr/share/logstash/bin/logstash /usr/local/bin
logstash -f /etc/logstash/conf.d/apache_log.conf

这样以后去 Elasticsearch 集群看一下

收集日志成功 

服务器（4）的配置 

安装一个kibana展示出来

yum -y install java

将 kibana包传入服务器（4）

rpm -ivh kibana-5.5.1-x86_64.rpm 
systemctl enable kibana
vim /etc/kibana/kibana.yml 


 2 server.port: 5601

 7 server.host: "0.0.0.0"

 21 elasticsearch.url: "http://192.168.254.1:9200"

 30 kibana.index: ".kibana"

去掉前面#

注释：

server.port: 5601                             kibana打开的端口

server.host: "0.0.0.0"                        kibana侦听的地址

elasticsearch.url: "http://192.168.10.181:9200"    和elasticsearch建立联系

kibana.index: ".kibana"                     在elasticsearch中添加.kibana索引
systemctl start kibana

http://192.168.254.4:5601/
↑
http://kibanaip:5601/

 进入成功

设置kibana展示

 

 

 这个是192.168.254.2的系统日志展示，还差个192.168.254.3的网站日志展示

 

 

 

 点击切换

要看那个选那个

 

展示成功 

 

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值