ELFK搭建部署
文章平均质量分 95
风雪一更ing
风雪停更
展开
-
ELK日志分析系统(一)之ELK原理
随着业务量的增长,每天业务服务器将会产生上亿条的日志,单个日志文件达几个GB,这时我们发现用Linux自带工具,cat grep awk 分析越来越力不从心了,而且除了服务器日志,还有程序报错日志,分布在不同的服务器,查阅繁琐。ELK是三个软件的统称,即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件,通常配合使用,并且都先后归于Elastic.co企业名下,故被简称为ELK协议栈。ELK主要用于部署在企业架构中,收集多台设备上多个服务的日志信息,并将其统原创 2022-07-07 00:01:20 · 1330 阅读 · 0 评论 -
ELK日志分析系统(二)之ELK搭建部署
由于es服务启动之后,访问界面比较丑陋,为了更好的查看索引库当中的信息,我们可以通过安装el原创 2022-07-07 01:33:29 · 2039 阅读 · 0 评论 -
ELFK日志分析系统(三)之Filebeat
启动Filebeat时,它将启动一个或多个输入,这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志,Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容,并将新日志数据发送到libbeat,libbeat将聚集事件,并将聚集的数据发送到为Filebeat配置的输出。...原创 2022-07-07 14:09:44 · 951 阅读 · 0 评论 -
ELFK日志分析系统(四)之Kafka
ELK日志分析系统(一)之ELK原理ELK日志分析系统(二)之ELK搭建部署ELFK日志分析系统(三)之FilebeatKafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。既然是消息队列,那么Kafka也就拥有消息队列的相应的特性了。可以在系统中起到“肖峰填谷”的作用,也可以用于异构、分布式系统中海量数据的异步化处理。主要原因是由于在高并发环境下,同步请求来不及处理,请求往往会发生阻塞。比如大量的请求并发访问数据库,导致行锁表锁,最后请求线程会堆积过多,从而触发 to原创 2022-07-07 15:48:07 · 1478 阅读 · 0 评论 -
ELFK日志分析系统(五)之Zookeeper
ELK日志分析系统(一)之ELK原理ELK日志分析系统(二)之ELK搭建部署ELFK日志分析系统(三)之FilebeatELFK日志分析系统(四)之KafkaZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务,它提供了一项基本服务:分布式锁服务。分布式应用可以基于它实现更高级的服务,实现诸如同步服务、配置维护和集群管理或者命名的服务。Zookeeper服务自身组成一个集群,2n+1个(奇数)服务允许n个失效,集群内一半以上机器可用,Zookeeper就可用。假设 3台机器组原创 2022-07-07 16:38:37 · 427 阅读 · 0 评论 -
ELFK日志分析系统(六)之搭建ELK+Filebeat+Kafka+Zookeeper
ELK日志分析系统(一)之ELK原理ELK日志分析系统(二)之ELK搭建部署ELFK日志分析系统(三)之FilebeatELFK日志分析系统(四)之KafkaELFK日志分析系统(五)之Zookeeper随着业务量的增长,每天业务服务器将会产生上亿条的日志,单个日志文件达几个GB,这时我们发现用Linux自带工具,cat grep awk 分析越来越力不从心了,而且除了服务器日志,还有程序报错日志,分布在不同的服务器,查阅繁琐。待解决的痛点:整体的架构如上图所示这个架构图从左到右,总共分为5层,每原创 2022-07-07 18:55:12 · 1868 阅读 · 0 评论