filebeat介绍

转载 2016年05月31日 14:21:37

Filebeat的基本原理其实就是有一群prospector,每个prospector手下管着一批harvester,每个harvester负责监视一个日志文件,把变动的内容由spooler汇总之后交给Logstash或者Elasticsearch。如果想快速搭建一个可以工作的Filebeat,无非有三点:

1.说明要监视哪些文件

filebeat:
  prospectors:
    -
      paths:
        - "/var/log/lmz.log"

2.说明收集的日志发给谁

如果直接发送给Elasticsearch,可以设置如下:

output:
  elasticsearch:
     hosts: ["localhost:9200"]

如果需要发给Logstash,可以注释掉Elasticsearch的配置,然后设置Logstash如下:

output:
  logstash:
    hosts: ["localhost:5044"]

当然,也需要在Logstash的配置中指明要从该端口(5044)监听来自Filebeat的数据:

/etc/logstash/conf.d/beats-input.conf:
input {
  beats {
    port => 5044
  }
}

这里的配置举例是把Filebeat、Logstash、Elasticsearch安装在了一台机器上,实际使用中肯定是分开部署的,需要根据实际情况修改配置文件中的IP地址及端口号。

3.让Elasticsearch知道如何处理每个日志事件。

默认的Elasticsearch需要的index template在安装Filebeat的时候已经提供,路径为/etc/filebeat/filebeat.template.json,可以使用如下命令装载该模板:

curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@/etc/filebeat/filebeat.template.json

当然,也不能忘了,每次修改完Filebeat的配置后,需要重启Filebeat才能让改动的配置生效。

Filebeat简介

Filebeat简介 反压力敏感协议,Ingest Node
  • sinkou
  • sinkou
  • 2017年07月21日 12:58
  • 1444

Filebeat 日志收集器 安装和配置

Filebeat 风来了.fox1.下载和安装https://www.elastic.co/downloads/beats/filebeat目前最新版本 1.3.0 这里选择 LINUX 64-B...
  • wljk506
  • wljk506
  • 2016年09月08日 11:38
  • 24180

ELK Stack 中 Filebeat的工作原理

Filebeat由两个主要组件构成: prospector和 harvesters。这两类组件一起协同完成Filebeat的工作,从指定文件中把数据读取出来,然后发送事件数据到配置的output中。 ...
  • Nero__A
  • Nero__A
  • 2016年12月22日 17:08
  • 2076

Filebeat 日志收集器 安装和配置

Filebeat的配置文件是/etc/filebeat/filebeat.yml,遵循YAML语法。具体可以配置如下几个项目: Filebeat Output Shipper ...
  • chengxuyuanyonghu
  • chengxuyuanyonghu
  • 2017年01月12日 15:25
  • 2742

Filebeat的架构分析、配置解释与示例

filebeat是beats工具中的一种,都是用来收集日志文件的,作为监听,可以通过配置随时将结果映射到Elasticsearch,logstash,file或者console(只能配置一种),本篇博...
  • Gamer_gyt
  • Gamer_gyt
  • 2016年09月28日 23:48
  • 17180

linux ELK(filebeat)环境搭建中加入kafka消息队列的详细介绍(菜鸟新手级别)

本文所使用的软件版本如下filebeat 5.4.0,elasticsearch 5.4.0,kibana 5.4.0, 最近公司需要做实时日志分析系统,在网上查了很多资料,发现ELK是最适合的,而且...
  • qq_36079872
  • qq_36079872
  • 2017年05月26日 18:58
  • 4432

Elasticsearch、Logstash、Kibana、Filebeat的使用总结

ELK是什么? ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,由这三个软件及其相关的组件可以打造大规模日志实时处理系统。 ElasticSearch:是...
  • chenxun2009
  • chenxun2009
  • 2017年12月01日 17:15
  • 238

Filebeat的高级配置-Filebeat部分

在Filebeat安装完成准备使用前,最好先对Filebeat进行一些详细的配置再使用,下面来详细讲解一下相关内容。 Filebeat的配置文件是/etc/filebeat/filebeat.yml...
  • xiongzhichao
  • xiongzhichao
  • 2016年06月29日 16:05
  • 15475

日志收集器Filebeat详解

一、简介 1、Beats是elastic公司的一款轻量级数据采集产品,它包含了几个子产品: 1)packetbeat(用于监控网络流量) 2)filebeat(用于监听日志数据,可以替代logs...
  • chenxun2009
  • chenxun2009
  • 2017年11月22日 13:38
  • 384

Docker ELK+Filebeat安装与配置

前言: 为什么要写个博文,在用Docker安装ELK实在遇到太大的坑了,我在安装的时候刚好ELK三个版本更新到了6.X,Filebeat也是6.X版本,但无论是谷歌还是百度,都是些5.X的文章,...
  • qq_39284787
  • qq_39284787
  • 2017年12月15日 09:53
  • 114
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:filebeat介绍
举报原因:
原因补充:

(最多只允许输入30个字)