从ELK到ELFK的转变,满足企业PB级日志系统的实践之路

一: ELK日志系统初期

刚来公司的时候,我们公司的日志收集系统ELK经常会出现查询不了最新的日志的情况,后面去查发现 ES的节点经常也是yellow或者red的情况。有时候会收到开发的投诉。这一套ELK系统也是另外一个同事搭建的,

架构图解如下:

其中ElasticSearch 是三台服务器构成的集群,

其中ElasticSearch的版本为 6.2.x 的版本,Logstash跑在每个服务器上,各种日志通过Logstash搜集,Grok,Geoip等插件进行处理然后统一送到ElasticSearch的集群。

Kibana做图形化的展示。

 

我们之前的elk架构比较简单,也存在一些问题:

1、Logstash依赖Java虚拟机占用系统的内存和CPU都比较大,

2、Logstash在数据量较大的时候容易导致其他业务应用程序崩溃,影响业务正常使用

3、随着时间的积累,es空间不能满足现状

4、Kibana没有安全管控机制,没有权限审核,安全性较差。

5、ElasticSearch 主节点也是数据节点,导致有时候查询较慢

 

<
  • 1
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

<p> <span style="font-size:14px;">Elastic Stack</span><span style="font-size:14px;">日志系统是目前企业应用广泛的一套日志解决方案。</span><span></span> </p> <p> <span style="font-size:14px;"> </span> </p> <p> <span style="font-size:14px;">包含的组件有</span><span style="font-size:14px;">Filebeat,Logstash,Elastic,Kibana</span><span style="font-size:14px;">等</span><span></span> </p> <p> <span style="font-size:14px;">本堂课引入</span><span style="font-size:14px;">Kafka </span><span style="font-size:14px;">让</span><span style="font-size:14px;">Elastic Stack </span><span style="font-size:14px;">能适应企业</span><span style="font-size:14px;">PB</span><span style="font-size:14px;">的业务日志量 并弥补传统</span><span style="font-size:14px;">ELk</span><span style="font-size:14px;">架构的不足</span><span></span> </p> <p> <span style="font-size:14px;"> </span> </p> <p> <span style="font-size:14px;">★ 学完这门课程会获得什么?</span><span></span> </p> <p> <span style="font-size:14px;"> </span> </p> <p> <span style="font-size:14px;">首先零开始教你部署</span><span style="font-size:14px;">Elastic Stack</span><span style="font-size:14px;">系统</span><span style="font-size:14px;">, </span><span style="font-size:14px;">详细讲解</span><span style="font-size:14px;">Elastic</span><span style="font-size:14px;">产品</span><span style="font-size:14px;">,</span><span style="font-size:14px;">包括</span><span style="font-size:14px;"> Kibana.Logstash,Beats</span><span style="font-size:14px;">的详细讲解以及</span><span style="font-size:14px;">Elastic</span><span style="font-size:14px;">的</span><span style="font-size:14px;">api</span><span style="font-size:14px;">操作,</span><span></span> </p> <p> <span style="font-size:14px;">并如何监控 如何绘图等。最后结合自己的运维过程中的案例讲解,让学员能更加清楚了解原理以及少走一些弯。</span><span></span> </p> <p> <span style="font-size:14px;"> </span> </p> <p> <span style="font-size:14px;"><span style="color:#333333;">目前我们公司每天产生至少8个T的数据量,历史日志保存半年。此教程足以能承担PB日志收集系统的量。</span></span><span style="font-size:14px;"></span> </p> <p> <span style="color:#E53333;">此教程的背景介绍请参阅我的CSDN博客,置顶内容的第一篇博文。</span> </p> <p> <img src="https://img-bss.csdn.net/202004150822414470.png" alt="" /></p> <p> <img src="https://img-bss.csdn.net/202001060812528245.png" alt="" /></p>
©️2021 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值