ELK分布式日志系统搭建

ELK分布式日志系统搭建

1.ELK流程介绍

ELK分布式日志系统工作流程如下图所示:
在这里插入图片描述

2.Elasticsearch 7.0 集群搭建

参考skyWalking一文中ES集群搭建

3.kinaba 搭建

3.1 下载及上传kinaba安装包

  • 下载

版本目录地址:https://www.elastic.co/cn/downloads/

这里下载当前最新kinaba的7.9.2版本。

  • 解压
tar -zxf kibana-7.9.2-linux-x86_64.tar.gz

3.2 修改配置文件

vi /xxx/kibana/kibana-7.9.2-linux-x86_64/config/kibana.yml

修改配置文件如下图:
在这里插入图片描述

如需设置kibana UI为中文可修改配置文件中的国际化模式

i18n.locale: "zh-CN"

3.3 kibana的后台启动和停止

nohup ../bin/kibana &

ps -ef|grep node
ps -ef|grep 5601
kill pid

启动成功,如图:
在这里插入图片描述

4.filebeat 搭建

在应用部署的服务器安装filebeat,可每个应用部署一个filebeat。

4.1 下载及上传filebeat安装包

  • 下载

版本目录地址:https://www.elastic.co/cn/downloads/

这里下载当前最新kinaba的7.9.2版本。

  • 解压
tar -zxf filebeat-7.9.2-linux-x86_64.tar.gz

4.2 修改配置文件

vi /xxx/filebeat/filebeat-7.9.2-linux-x86_64/filebeat.yml

配置应用的日志收集目录:
在这里插入图片描述

filebeat集成kibana进行可视化展示:
在这里插入图片描述
filebeat配置输出日志到Logstash:在这里插入图片描述

  • ps:filebeat 多行日志的处理

    https://www.cnblogs.com/toSeek/p/6120778.html?utm_source=itdadao&utm_medium=referral

4.3 filebeat的后台启动和停止

nohup ./filebeat -e -c filebeat.yml

ps -ef|grep filebeat
kill pid

5.logstash 搭建

5.1 下载及上传logstash安装包

  • 下载

版本目录地址:https://www.elastic.co/cn/downloads/

这里下载当前最新logstash的7.9.2版本。

  • 解压
tar -zxf logstash-7.9.2.tar.gz

5.2 修改配置文件

#拷贝模板配置文件
cp  logstash-sample.conf logstash.conf
vi  /xxx/logstash/logstash-7.9.2/config/logstash.conf

配置Logstash输出到ES的环境,其中支持多个output,可以根据不同的filebeat输入整理日志保存各个应用的日志,再输出到ES保存成不同的索引(index)。还支持自定义的filter来分析日志以及处理日志格式,增强可读性:
在这里插入图片描述

5.3 logstash的后台启动和停止

因为安全问题,logstash不允许root用户直接运行,所以要创建新用户,在root用户中创建新用户,执行如下命令:

#新增logstash用户
useradd logstash
#为logstash用户设置密码
passwd logstash

再为新用户授权

#文件夹所有者
chown -R es:es /xxx/logstash/logstash-7.9.2
  • 启动和停止Logstash
nohup ./bin/logstash -f config/logstash.conf

ps -ef|grep logstash
kill pid

6. 配置kinaba UI和日志索引

导航栏的 management ——> stack management ——> Create index pattern
如图所示:
在这里插入图片描述
在这里插入图片描述

创建索引:

在这里插入图片描述
在这里插入图片描述

最终看到日志:
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值