filebeat介绍

转载 2016年05月31日 14:21:37

Filebeat的基本原理其实就是有一群prospector,每个prospector手下管着一批harvester,每个harvester负责监视一个日志文件,把变动的内容由spooler汇总之后交给Logstash或者Elasticsearch。如果想快速搭建一个可以工作的Filebeat,无非有三点:

1.说明要监视哪些文件

filebeat:
  prospectors:
    -
      paths:
        - "/var/log/lmz.log"

2.说明收集的日志发给谁

如果直接发送给Elasticsearch,可以设置如下:

output:
  elasticsearch:
     hosts: ["localhost:9200"]

如果需要发给Logstash,可以注释掉Elasticsearch的配置,然后设置Logstash如下:

output:
  logstash:
    hosts: ["localhost:5044"]

当然,也需要在Logstash的配置中指明要从该端口(5044)监听来自Filebeat的数据:

/etc/logstash/conf.d/beats-input.conf:
input {
  beats {
    port => 5044
  }
}

这里的配置举例是把Filebeat、Logstash、Elasticsearch安装在了一台机器上,实际使用中肯定是分开部署的,需要根据实际情况修改配置文件中的IP地址及端口号。

3.让Elasticsearch知道如何处理每个日志事件。

默认的Elasticsearch需要的index template在安装Filebeat的时候已经提供,路径为/etc/filebeat/filebeat.template.json,可以使用如下命令装载该模板:

curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@/etc/filebeat/filebeat.template.json

当然,也不能忘了,每次修改完Filebeat的配置后,需要重启Filebeat才能让改动的配置生效。

相关文章推荐

SpringBoot非官方教程 | 第二十六篇: sprinboot整合elk,搭建实时日志平台

这篇文章主要介绍springboot整合elk.elk 简介 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口...
  • forezp
  • forezp
  • 2017-05-04 22:48
  • 10367

Filebeat的架构分析、配置解释与示例

filebeat是beats工具中的一种,都是用来收集日志文件的,作为监听,可以通过配置随时将结果映射到Elasticsearch,logstash,file或者console(只能配置一种),本篇博...

ELK Stack 中 Filebeat的工作原理

Filebeat由两个主要组件构成: prospector和 harvesters。这两类组件一起协同完成Filebeat的工作,从指定文件中把数据读取出来,然后发送事件数据到配置的output中。 ...

linux ELK(filebeat)环境搭建中加入kafka消息队列的详细介绍(菜鸟新手级别)

本文所使用的软件版本如下filebeat 5.4.0,elasticsearch 5.4.0,kibana 5.4.0, 最近公司需要做实时日志分析系统,在网上查了很多资料,发现ELK是最适合的,而且...

Filebeat 日志收集器 安装和配置

Filebeat 风来了.fox1.下载和安装https://www.elastic.co/downloads/beats/filebeat目前最新版本 1.3.0 这里选择 LINUX 64-B...

ELK日志处理之Filebeat工作原理

Filebeat简介、Filebeat和Logstash的对比、Filebeat工作原理、配置
  • napoay
  • napoay
  • 2017-04-18 17:00
  • 2523

24.ELK实时日志分析平台之Filebeat介绍及安装方法

介绍Filebeat及其安装方法。

ELK日志分析系统-filebeat

filebeat.yml中文配置详解

filebeat.yml(中文配置详解)
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)