【日志】ELK日志处理集群部署

雪碧不要气

已于 2022-07-03 14:56:04 修改

阅读量580

点赞数

文章标签： elasticsearch

于 2022-06-15 21:45:42 首次发布

本文链接：https://blog.csdn.net/H875035681/article/details/125303297

版权

文章目录

前言
一、概念/使用环境
二、组件详解
三、集群搭建
- 3.1 elasticsearch
- 3.2 Apache/Logstash/kibana
四、思维导图
五、结语

前言

本博客内容仅为记录博主思路，仅供参考，一切以自己实践结果为准。

一、概念/使用环境

ELK平台是一套完整的日志集中处理解决方案
由ElasticSearch、Logstash、Kiabana三个开源工具配合使用
是用户对日志的查询、排序、统计的强大工具组合
一般用于大型企业，中小型企业一般会选择（rsyslog+日志服务器或者shell+Python收集日志）

二、组件详解

2.1 elasticsearch

储存各类日志文件
全文检索引擎的架构
分布式村塾检所引擎
实时的、分布式、可拓展的搜索引擎

2.2 kibana

提供web界面，对es的数据提供可视化展示
汇总、分析、搜索重要数据

2.3 logstash

数据收集引擎（该功能通常会被filebeat替代）
具有过滤、分析、丰富、统一格式等操作
实现数据传输、格式化处理、格式化输出
储存数据到指定位置，一般会发送给es
拥有自适用缓冲功能

2.4 filebeat

轻量级开源日志收集器
通常用来代替logstash日志收集作用

2.5 ELFK的好处

自适用缓冲功能
从其他数据源提取数据
将数据发送到多个目的地
使用条件数据流逻辑组成更复杂的处理管道

2.6 fluentd（额外）

多用于原生环境，go语言开发
功能与logstash类型，通常代理logstash

三、集群搭建

3.1 elasticsearch

搭建两个elasticsearch服务器

systemctl stop firewalld
setenforce 0

hostnamectl set-hostname node01
su

vim /etc/hosts
	192.168.13.10 node01
	192.168.13.20 node02
	
cd /opt
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cat>>/etc/profile<<EOF
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
EOF
source /etc/profile

scp -r /usr/local/jdk1.8.0_91/ node02:/usr/local
scp -r /usr/local/jdk1.8.0_91/ 192.168.13.30:/usr/local

cd /opt
rpm -ivh elasticsearch-6.7.2.rpm
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
vim elasticsearch.yml
	17行：cluster.name: my-elk-cluster
	23行：node.name: node01
	24行（插入）：node.master: true
	25行（插入）：node.data: true
	35行：path.data: /var/lib/elasticsearch
	39行：path.logs: /var/log/elasticsearch
	45行：bootstrap.memory_lock: false
	57行：network.host: 0.0.0.0
	61行：http.port: 9200
	62行（插入）：transport.tcp.port: 9300
	71行：discovery.zen.ping.unicast.hosts: ["node01:9300", "node02:9300"]

vim /etc/security/limits.conf
	*  soft    nofile          65536
	*  hard    nofile          131072
	*  soft    memlock         unlimited
	*  hard    memlock         unlimited
ulimit -n 131072

vim /etc/sysctl.conf
	vm.max_map_count=262144
sysctl -p

systemctl start elasticsearch.service
systemctl enable elasticsearch.service
#等待大约十秒钟启动时间
netstat -antp | grep 9200



#安装 Elasticsearch-head 插件
yum install gcc gcc-c++ make -y
cd /opt
tar zxvf node-v8.2.1.tar.gz

cd node-v8.2.1/
./configure
make -j 2 && make install

cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

cd /opt
unzip elasticsearch-head-master.zip -d /usr/local/src/
cd /usr/local/src/elasticsearch-head-master/
npm install

vim /etc/elasticsearch/elasticsearch.yml
	末行：http.cors.enabled: true
	末行：http.cors.allow-origin: "*"
systemctl restart elasticsearch

cd /usr/local/src/elasticsearch-head-master/
#必须先移动到该目录，才能启动head服务
npm run start &

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
#该命令创建一个索引，用于测试应用是否成功配置启动。进入192.168.13.10:9100会发现数据默认被分片成5个（此时为成功）

3.2 Apache/Logstash/kibana

受电脑性能影响，因此把三个服务安装在一台服务器上

#apache节点（ELK Logstash 部署）
systemctl stop firewalld
setenforce 0

hostnamectl set-hostname apache
su

yum -y install httpd
systemctl start httpd

vim /etc/profile
	export JAVA_HOME=/usr/local/jdk1.8.0_91
	export JRE_HOME=${JAVA_HOME}/jre
	export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
source /etc/profile

cd /opt
rpm -ivh logstash-6.7.2.rpm 
systemctl start logstash.service 
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

logstash -e 'input { stdin{} } output { stdout{} }'
	www.baidu.com
	#测试log工具是否安装成功

chmod +r /var/log/messages
vim /etc/logstash/conf.d/system.conf
#内容从此开始
input {
    file{
        path =>"/var/log/messages"
        type =>"system"
        start_position =>"beginning"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.13.10:9200","192.168.13.20:9200"]
        index =>"system-%{+YYYY.MM.dd}"
    }
}
#内容到此结束

systemctl restart logstash

#apache节点（ELK kibana 部署）
cd /opt
rpm -ihv kibana-6.7.2-x86_64.rpm
vim /etc/kibana/kibana.yml
	2行：server.port: 5601
	7行：server.host: "0.0.0.0"
	28行：elasticsearch.url:  ["http://192.168.13.10:9200","http://192.168.13.20:9200"]
	37行：kibana.index: ".kibana"
	96行：logging.dest: /var/log/kibana.log

touch /var/log/kibana.log
chown kibana:kibana /var/log/kibana.log
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601
#此时可通过网页查看192.168.13.30:5601验证kibana是否安装成功

vim /etc/logstash/conf.d/apache_log.conf
#创建Apache日志文件配置，将 Apache 服务器的日志添加到 Elasticsearch 并通过 Kibana 显示

#文件内容从此开始
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}

output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.13.10:9200","192.168.13.20:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    fi
    }

    if [type] == "error" {
    elasticsearch {
        hosts => ["192.168.13.10:9200","192.168.13.20:9200"]
        index => "apache_error-%{+YYYY.MM.dd}"
    }
    fi
    }
}
#文件内容到此结束

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf
#开始收集日志