Filebeat 5.x 日志收集器 安装和配置

原创 2017年11月01日 16:53:11

Filebeat 5.x版本
风来了.fox

1.下载和安装

https://www.elastic.co/downloads/beats/filebeat

这里选择 LINUX 64-BIT 即方式一

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.3-linux-x86_64.tar.gz
tar -zxvf filebeat-5.6.3-linux-x86_64.tar.gz

2.配置Filebeat

环境说明:
1)elasticsearch和logstash 在不同/相同的服务器上,只发送数据给logstash/elasticsearch
2)监控nginx日志
3)监控站点日志

2.1配置

编辑filebeat.yml

vim filebeat.yml

修改为

filebeat.prospectors:
    - input_type: log
      paths:
        - /www/wwwLog/www.foxwho.com/*.log
      input_type: log 
      document_type: nginx-www.foxwho.com
      multiline.pattern: '^\['
      multiline.negate: true
      multiline.match: after

    - input_type: log
      paths:
        - /www/wwwroot/www.foxwho.com/runtime/log/*/[0-9]*[_\w]?*.log
      input_type: log 
      document_type: web-www.foxwho.com
      multiline.pattern: '^\['
      multiline.negate: true
      multiline.match: after

#output.elasticsearch:
  #   hosts: ["localhost:9200"]
  #   index: "filebeat-www.babymarkt.cn"
  #   template.name: "filebeat"
  #   template.path: "filebeat.template.json"
  #   template.overwrite: false
output.logstash:
    hosts: ["10.1.5.65:5044"]

...其他部分没有改动,不需要修改

2.2 说明

  1. paths:指定要监控的日志,目前按照Go语言的glob函数处理。没有对配置目录做递归处理,比如配置的如果是:
/var/log/* /*.log

则只会去/var/log目录的所有子目录中寻找以”.log”结尾的文件,而不会寻找/var/log目录下以”.log”结尾的文件。
2. input_type:指定文件的输入类型log(默认)或者stdin。
3. document_type:设定Elasticsearch输出时的document的type字段,也可以用来给日志进行分类。

把 elasticsearch和其下的所有都注释掉(这里Filebeat是新安装的,只注释这2处即可)

#output.elasticsearch:
  #   hosts: ["localhost:9200"]

开启 logstash(删除这两行前的#号),并把localhost改为logstash服务器地址

output.logstash:
    hosts: ["10.1.5.65:5044"]

如果开启logstash了,那么Logstash配置中要设置监听端口 5044:
这个是默认文件位置,如果不存在请自行查找
建立beats-input.conf配置文件

vim /etc/logstash/etc/beats-input.conf

增加端口

input {
  beats {
    port => 5044
  }
}

3.启动

3.1 测试

./filebeat -e -c filebeat.yml -d "Publish"

如果能看到一堆东西输出,表示正在向elasticsearch或logstash发送日志。
如果是elasticsearch可以浏览:http://localhost:9200/_search?pretty 如果有新内容返回,表示ok
测试正常后,Ctrl+C结束

3.2启动

nohup ./filebeat -e -c filebeat.yml &

上面会转入后台运行

3.3停止

查找进程 ID

ps -ef |grep filebeat

KILL他

kill -9  id

3.X kibana设置

如果使用 kibana 做日志分析,
在kibana里,创建一个索引,注意pattern为:filebeat-*
这里写图片描述

4.高级配置说明

http://kibana.logstash.es/content/beats/file.html

http://blog.csdn.net/a464057216/article/details/51233375

5.其他说明

5.1Elasticsearch知道如何处理每个日志事件

默认的Elasticsearch需要的index template在安装Filebeat的时候已经提供,路径为/etc/filebeat/filebeat.template.json,可以使用如下命令装载该模板:
filebeat 安装目录中运行

curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@filebeat.template.json

如果运行成功则返回如下,表示模板已被接收

{
  "acknowledged" : true
}

每次修改Filebeat配置,重启Filebeat才能生效

部分来源:
http://blog.csdn.net/a464057216/article/details/50987695
http://www.cnblogs.com/yjmyzz/p/filebeat-turorial-and-kibana-login-setting-with-nginx.html

版权声明:原创文章欢迎转载,不过要记得加出处哦

相关文章推荐

Filebeat 日志收集器 安装和配置

Filebeat 风来了.fox1.下载和安装https://www.elastic.co/downloads/beats/filebeat目前最新版本 1.3.0 这里选择 LINUX 64-B...
  • wljk506
  • wljk506
  • 2016年09月08日 11:38
  • 19770

日志收集器Filebeat详解

一、简介 1、Beats是elastic公司的一款轻量级数据采集产品,它包含了几个子产品: 1)packetbeat(用于监控网络流量) 2)filebeat(用于监听日志数据,可以替代logs...

Filebeat 日志收集器 logstash-forwarder 的替代品

Filebeat是一个开源的文件收集器,主要用于获取日志文件,并把它们发送到logstash或elasticsearch。与libbeat lumberjack一起替代logstash-forward...
  • wljk506
  • wljk506
  • 2016年09月08日 10:05
  • 1294

JVM垃圾回收机制总结(5) :JDK垃圾收集器的配置命令

JVM垃圾回收机制总结(5) :JDK垃圾收集器的配置命令 博客分类: J2SE - JVM与CLASS JVMJDK应用服务器算法电信 全文转载:http://pengjiah...
  • awt
  • awt
  • 2011年08月14日 22:46
  • 464

Logstash5.X 日志搜集处理框架 安装配置

0. 介绍Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。 http://kibana.l...
  • wljk506
  • wljk506
  • 2017年02月22日 09:01
  • 4304

理解G1垃圾收集器日志

理解G1垃圾收集器日志 发表这个文章的目的是为了解释使用了G1垃圾收集器的一些跟踪和诊断选项而生成出来的垃圾收集日志的意义。我们来看一下使用一个提供最详细的信息级别的生产环境选项PrintGCD...

JVM基础(6)——G1收集器及G1日志分析

1. G1简介1.1 概述G1 (Garbage-First)是一款面向服务器的垃圾收集器,主要针对配备多核处理器及大容量内存的机器。 在极大概率满足GC停顿时间要求的同时,还具备高吞吐量的特性.。...
  • weitry
  • weitry
  • 2016年11月15日 12:57
  • 1911

Log4j优化(一)扩展Log4j来实现性能优化的异步日志收集器

日志收集在互联网企业尤其是大数据时代是一件非常重要的事情,日志记录着用户行为和系统行为,是一种重要的数据来源。Log4j是Java应用程序使用的最多的一种日志收集工作。目前大量的Java应用程序都使用...
  • ITer_ZC
  • ITer_ZC
  • 2015年04月23日 10:33
  • 6316

24.ELK实时日志分析平台之Filebeat介绍及安装方法

介绍Filebeat及其安装方法。

Java编程思想学习笔记(5)--垃圾收集器

看到垃圾收集器这里,内容比较多,不太理解,先写出来梳理一下一、为什么要使用垃圾收集器引入垃圾收集器使得Java程序员不需要关心内存管理的问题,减少了c++程序员经常出现的内存泄露的问题,有效使用空闲内...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Filebeat 5.x 日志收集器 安装和配置
举报原因:
原因补充:

(最多只允许输入30个字)