ELK
文章平均质量分 76
________Yang
hello!
展开
-
利用Logstash plugins做更多的事情
1. 引言之前一篇文章《Logstash 介绍及linux下部署》,我们实现了logstash的安装以及简单的控制台标准输入输出测试,那么logstash能不能做更多的事情呢?答案是肯定的,logstash就是为了处理日志数据而生的。一个最直接的应用是,我们从事java web开发,将应用放到tomcat中,tomcat会生成大量的访问日志,那么如何实现对大量访问日志的搜集、处理、分析呢?logst原创 2017-09-15 16:51:15 · 4216 阅读 · 0 评论 -
Logstash 介绍及linux下部署
1. Logstash 介绍Logstash 是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理。官网地址:https://www.elastic.co/products/logstash2. Logstash 流程2.1 inputInput 作为数据输入端,可以接收来自任何地方的源数据。主要有以下四种类型: - file:从文件中读取原创 2017-09-15 15:31:18 · 6251 阅读 · 4 评论 -
ELK-002-Beats-Filebeat的HelloWorld
1. 引言Filebeat是一个轻量级的日志采集器,当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时,请告别 SSH 吧。Filebeat 将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。可以用官网一幅图直观地对其进行描述: 官网地址:https://www.elastic.co/cn/downloads/beats/filebeat 文档地址:htt原创 2017-09-15 20:47:57 · 784 阅读 · 0 评论 -
ELK-001-Elastic技术栈概览
1. 概述当了解一门技术、一个框架时候,打开官网是最直接的也是最好的学习方法。当你打开Elastic官网https://www.elastic.co/products时候,Elastic这个技术栈清晰地呈现在你面前,可以用下面这幅图表示: 下面将分别对每个模块作简要解释。方向为图下到图上。2. Beats & Logstash之所以把Beats和Logstash放到一个模块作介绍,是因为这两个原创 2017-09-15 19:13:55 · 703 阅读 · 0 评论 -
ELK-003-Beats-Filebeat的工作原理
1. 引言本系列上一篇文章《 ELK-002-Beats-Filebeat的HelloWorld》中我们降到了Filebeat的应用场景,同时搭建Filebeat完成了HelloWorld示例,今天我们来探讨下Filebeat的工作原理。Filebeat主要是靠两个组件共同工作完成日志采集的:harvester(收割者)和prospector(勘探者),这两个组件共同工作去获取最新的日志事件然后推送原创 2017-09-15 23:27:01 · 999 阅读 · 0 评论 -
ELK-004-Beats-Filebeat配置项详解之prospectors
Filebeat的配置文件是使用YAML标记语言编写的,Filebeat的配置文件主要分为以下几个部分:2. prospectors具体配置prospectors直译是勘探者或者淘金者,在Filebeat中主要用于配置你要从哪个地方去获取日志信息.原创 2017-09-17 11:07:00 · 3468 阅读 · 0 评论 -
ELK-005-Beats-Filebeat配置项详解之global
1. global所有配置项#========================= Filebeat global options ============================# Event count spool threshold - forces network flush if exceeded#filebeat.spool_size: 2048# Enable async pu原创 2017-09-17 21:37:16 · 870 阅读 · 0 评论