目录
一、ELK版本升级(elasticsearch、logstash、kibana升级)!
一、ELK版本升级(elasticsearch、logstash、kibana升级)!
最近网络安全整改,需要对项目中用到的中间件、第三方软件进行版本更新(听运维同学说是更新到最新版本就是最安全的。。。。),这次更新elk日志系统。并且是在没有网络、不丢失当前elk日志系统配置下。我们用的中间件为:elasticsearch、logstash、kibana、kafka、zookeeper。
二、日志系统架构图
我们用的日志管理系统主要由日志收集、消息队列、日志分析、日志存储、日志展示五个模块组成,其中elasticsearch、logstash、kafka、zookeeper均为集群部署。下面对各模块的功能和技术选用进行介绍:
1. 日志收集:收集分布式架构下各服务器节点上应用的运行日志,然后将日志原文以增量方式发送给消息队列。本模块采用开源框架Logstash。
2. 消息队列:接收日志收集模块传输过来的日志信息,供服务端日志分析模块使用,该模块的作用主要是为了将日志分析放到服务端进行,从而减小客户端日志收集模块的压力;同时,也能防止因日志存储模块故障而导致的日志丢失问题。本模块使用高吞吐量的消息队列框架Kafka。
3. 日志分析:从消息队列读取日志信息,并提取关键字段等,然后将分析后的日志信息存放到日志存储模块。本模块使用Logstash来完成。
4. 日志存储:该模块提供提供日志搜集、分析、存储数据三大功能。本模块使用Elasticsearch。
5. 日志展示:是一个基于Web的图形界面,用于搜索、分析和可视化存储在日志存储模块中的日志数据。本模块使用Kibana。但是为了方便查询,将日志展示功能集成到了管理控制台页面。
三、ELK升级
当然,升级前首先要备份当前版本,避免升级失败,可以回退。废话不多说,直接上各个中间件的升级步骤:
1、elasticsearch升级
1. 将elasticsearch-6.2.3 ==》elasticsearch-7.10.2;
2. 备份当前版本:
mv elasticsearch-6.2.3/ elasticsearch-6.2.3_bak/
3. 修改config/elasticsearch.yml,要参照当