Filebeat详细介绍，下载和启动，日志读取和模块设置等

最新推荐文章于 2025-03-31 11:06:18 发布
最新推荐文章于 2025-03-31 11:06:18 发布
阅读量964 收藏 28
点赞数 19
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_89820122/article/details/145077420
版权

在这里插入图片描述

流程如下：

  • 首先是input输入，可以指定多个数据输入源，然后通过通配符进行日志文件的匹配
  • 匹配到日志后，就会使用Harvester（收割机），将日志源源不断的读取到来
  • 然后收割机收割到的日志，就传递到Spooler（卷轴），然后卷轴就在将他们传到对应的地方

下载

官网地址

可以直接wget下载

# 进入文件夹
cd /opt/elk/
# 下载
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.8.1-linux-x86_64.tar.gz
# 解压文件
tar -zxvf filebeat-8.8.1-linux-x86_64.tar.gz 
# 重命名
mv filebeat-8.8.1-linux-x86_64  filebeat

然后进入到filebeat目录下，创建对应的配置文件

# 进入文件夹
cd filebeats
# 创建配置文件
vim shengxia.yml

添加如下内容

filebeat.inputs: # filebeat input输入
- type: stdin    # 标准输入
  enabled: true  # 启用标准输入
setup.template.settings: 
  index.number\_of\_shards: 3 # 指定下载数
output.console:  # 控制台输出
  pretty: true   # 启用美化功能
  enable: true

启动

在我们添加完配置文件后，我们就可以对filebeat进行启动了

./filebeat -e -c shengxia.yml

然后我们在控制台输入hello，就能看到我们会有一个json的输出，是通过读取到我们控制台的内容后输出的，内容如下

{
  "@timestamp": "2023-05-31T22:57:58.700Z",
  "@metadata": {#元数据信息
    "beat": "filebeat",
    "type": "\_doc",
    "version": "8.8.1"
  },
  "log": {
    "offset": 0,
    "file": {
      "path": ""
    }
  },
  "message": "hello",#元数据信息
  "input": {#控制台标准输入
    "type": "stdin"#元数据信息
  },
  "ecs": {
    "version": "8.0.0"
  },
  "host": {
    "name": "elk-node1"
  },
  "agent": {#版本以及主机信息
    "id": "5d5e4b99-8ee3-42f5-aae3-b0492d723730",
    "name": "elk-node1",
    "type": "filebeat",
    "version": "8.8.1",
    "ephemeral\_id": "24b4fd16-5466-4d7e-b4b8-b73d41f77de0"
  }
}

读取文件

再次创建一个文件，叫 shengxia-log.yml，然后在文件里添加如下内容

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /opt/elk/logs/\*.log
setup.template.settings:
  index.number\_of\_shards: 3
output.console:
  pretty: true
  enable: true

添加完成后，我们在到下面目录创建一个日志文件

# 创建文件夹
mkdir -p /opt/elk/logs

# 进入文件夹
cd /opt/elk/logs

# 追加内容
echo "hello world" >> test.log

然后再次启动filebeat

 ./filebeat -e -c shengxia-log.yml

能够发现，它已经成功加载到了我们的日志文件 test.log

在这里插入图片描述

同时我们还可以继续往文件中追加内容

echo "are you ok ?" >> a.log

追加后，我们再次查看filebeat，也能看到刚刚我们追加的内容

在这里插入图片描述

可以看出，已经检测到日志文件有更新，立刻就会读取到更新的内容，并且输出到控制台。

自定义字段

当我们的元数据没办法支撑我们的业务时，我们还可以自定义添加一些字段

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /opt/elk/logs/*.log
  tags: ["web", "test"]  #添加自定义tag，便于后续的处理
  fields:  #添加自定义字段
    from: web-test
  fields_under_root: true #true为添加到根节点，false为添加到子节点中
setup.template.settings:
  index.number_of_shards: 3
output.console:
  pretty: true
  enable: true

添加完成后，重启 filebeat

./filebeat -e -c shengxia-log.yml

然后添加新的数据到 test.log中

echo "Today is nice" >> test.log

我们就可以看到字段在原来的基础上，增加了两个

在这里插入图片描述

输出到ElasticSearch

我们可以通过配置，将修改成如下所示

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /opt/elk/logs/\*.log
  tags: ["web", "test"]
  fields:
    from: web-test
  fields\_under\_root: false 
setup.template.settings:
  index.number\_of\_shards: 1
output.elasticsearch:
  hosts: ["192.168.40.150:9200","192.168.40.137:9200","192.168.40.138:9200"]

启动成功后，我们就能看到它已经成功连接到了es了
在这里插入图片描述

然后我们到刚刚的 logs文件夹向 a.log文件中添加内容

 echo "Elastic test" >> test.log

在ES中，我们可以看到，多出了一个 filebeat的索引库

在这里插入图片描述

然后我们浏览对应的数据，看看是否有插入的数据内容
在这里插入图片描述

Filebeat工作原理

Filebeat主要由下面几个组件组成： harvester、prospector 、input

harvester
  • 负责读取单个文件的内容
  • harvester逐行读取每个文件（一行一行读取），并把这些内容发送到输出
  • 每个文件启动一个harvester，并且harvester负责打开和关闭这些文件，这就意味着harvester运行时文件描述符保持着打开的状态。
  • 在harvester正在读取文件内容的时候，文件被删除或者重命名了，那么Filebeat就会续读这个文件，这就会造成一个问题，就是只要负责这个文件的harvester没有关闭，那么磁盘空间就不会被释放，默认情况下，Filebeat保存文件打开直到close_inactive到达
prospector

  • prospector负责管理harvester并找到所有要读取的文件来源

  • 如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个harvester

  • Filebeat目前支持两种prospector类型：log和stdin

  • Filebeat如何保持文件的状态

    • Filebeat保存每个文件的状态并经常将状态刷新到磁盘上的注册文件中
    • 该状态用于记住harvester正在读取的最后偏移量，并确保发送所有日志行。
    • 如果输出（例如ElasticSearch或Logstash）无法访问，Filebeat会跟踪最后发送的行，并在输出再次可以用时继续读取文件。
    • 在Filebeat运行时，每个prospector内存中也会保存的文件状态信息，当重新启动Filebat时，将使用注册文件的数量来重建文件状态，Filebeat将每个harvester在从保存的最后偏移量继续读取
    • 文件状态记录在data/registry文件中
input
  • 一个input负责管理harvester，并找到所有要读取的源
  • 如果input类型是log，则input查找驱动器上与已定义的log路径匹配的所有文件，并为每个文件启动一个harvester
  • 每个input都在自己的Go例程中运行
  • 下面的例子配置Filebeat从所有匹配指定的log模式的文件中读取行
filebeat.inputs:
- type: log
  paths:
    - /var/log/\*.log
    - /var/path2/\*.log
启动命令
./filebeat -e -c shengxia-es.yml
./filebeat -e -c shengxia-es.yml -d "publish"
参数说明
  • -e：输出到标准输出，默认输出到syslog和logs下
  • -c：指定配置文件
  • -d：输出debug信息

部署Nginx

部署教程可以参考这篇博客：Nginx的安装启动和停止_

启动完成后，我们通过下面命令，就可以获取到nginx中的内容了

[root@elk-node1 sbin]# tail -f /usr/local/nginx1/logs/access.log 
192.168.40.1 - - [01/Jun/2023:05:13:23 +0800] "GET / HTTP/1.1" 200 615 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.43"
192.168.40.1 - - [01/Jun/2023:05:13:23 +0800] "GET /favicon.ico HTTP/1.1" 404 555 "http://192.168.40.150:8080/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.43"

读取Nginx中的配置文件

创建一个 nginx-log.yml配置文件，启动nginx的模块功能

./filebeat modules enable nginx

nginx-log.yml配置文件内容

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/nginx1/logs/\*.log #nginx日志存放路径
  tags: ["nginx"]
  fields\_under\_root: false 
setup.template.settings:
  index.number\_of\_shards: 1
output.elasticsearch:
  hosts: ["192.168.40.150:9200","192.168.40.137:9200","192.168.40.138:9200"]

可以看到，在message中已经获取到了nginx的日志，但是，内容并没有经过处理，只是读取到原数据。

在这里插入图片描述

Module

要想实现日志数据的读取以及处理都是自己手动配置的，其实，在Filebeat中，有大量的Module，可以简化我们的配置，直接就可以使用，如下：
查看模块列表

./filebeat modules list

你可以看到，内置了很多的module，但是都没有启用，如果需要启用需要进行enable操作：

#启动
./filebeat modules enable nginx 
#禁用
./filebeat modules disable nginx

nginx module 配置

我们到下面的目录，就能看到module的配置了

# 进入到module目录
cd modules.d/
#查看文件
vim nginx.yml

得到的文件内容如下所示

# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.9/filebeat-module-nginx.html

- module: nginx
  # Access logs
  access:
    enabled: true
    # 添加日志文件
    var.paths: ["/usr/local/nginx1/logs/access.log\*"]

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths:

  # Error logs
  error:
    enabled: true
    var.paths: ["/usr/local/nginx1/logs/error.log\*"]
配置filebeat

我们需要修改刚刚的nginx-log.yml文件，然后添加到我们的module

filebeat.inputs:
setup.template.settings:
  index.number\_of\_shards: 1
output.elasticsearch:
  hosts: ["192.168.40.150:9200","192.168.40.137:9200","192.168.40.138:9200"]
filebeat.config.modules:
  path: ${path.config}/modules.d/\*.yml
  reload.enabled: false
测试

我们启动我们的filebeat

./filebeat -e -c nginx-log.yml
Filebeat模块：简化常见日志格式处理
AI大模型应用之禅
08-03 160
Filebeat模块：简化常见日志格式处理 作者：禅与计算机程序设计艺术 1. 背景介绍 在现代IT系统中，日志数据扮演着至关重要的角色。日志记录了系统运行过程中的各种事件，包括错误、警告、信息等，是问题排查、性能优化、安全审计等工作的重要依据。然而，面对海量的日志
Filebeat读取日志推送kafka（docker-compose）
weixin_49566876的博客
01-04 1479
Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。*** kafka常用命令。
filebeat使用教程
weixin_41141000的博客
04-19 1268
filebeat使用教程介绍windows安装使用下载修改配置文件 filebeat.yml启动验证Linux下载解压修改配置文件 filebeat.yml启动 介绍 filebeat是一款日志采集工具，特点：轻量级、配置简介。 filebeat官网 本期案例是将文件采集至kafka windows安装使用 下载 官网下载 解压 修改配置文件 filebeat.yml # ============================== Filebeat inputs ==================
filebeat安装包
11-21
Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。
Filebeat+ELK实施步骤
最新发布
技术引领业务创新
03-31 2万+
Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。
Elastic 技术栈之 Filebeat
weixin_34217773的博客
11-10 257
简介 Beats 是安装在服务器上的数据中转代理。 Beats 可以将数据直接传输到 Elasticsearch 或传输到 Logstash 。 Beats 有多种类型，可以根据实际应用需要选择合适的类型。 常用的类型有： Packetbeat：网络数据包分析器，提供有关您的应用程序服务器之间交换的事务的信息。 Filebeat：从您的服务器发送...
Filebeat的下载（图文讲解）
weixin_34384681的博客
03-26 568
        第一步:进入Elasticsearch的官网 https://www.elastic.co/           第二步：点击downloads https://www.elastic.co/downloads         第三步：选择Filebeat https://www.elastic.co/downloads/beats ...
FileBeat下载与配置-for ELK
分享技术，传播知识!
01-10 4275
FileBeat下载与配置-for ELKFileBeat下载FileBeat配置 for ELK FileBeat下载 1、在本地浏览器输入地址：https://www.elastic.co/guide/en/beats/filebeat/index.html，如下图： 2、点击带current的链接FileBeat Reference:7.16（current），如下图： 3、点击Quick start:installation and configuration，如下图： 4、根据操作系统选择相
filebeat
wjandy0211的博客
09-08 2191
filebeat是什么，可以用来干嘛 filebeat的原理是怎样的，怎么构成的 filebeat应该怎么玩 回到顶部 一、filebeat是什么 1.1、filebeat和beats的关系 　　首先filebeat是Beats中的一员。 　　Beats在是一个轻量级日志采集器，其实Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。 目
使用filebeat自带模块读取nginx日志和mysql日志,保存到elasticsearch
chen_cxl的博客
12-17 1436
使用filebeat自带模块读取nginx日志和mysql日志,保存到elasticsearch配置 filebeat.yml运行filebeat通过命令开启 不需要改模块配置文件通过配置文件开启使用命令开启模块编辑配置开启filebeat测试结果添加测试日志查看索引列表 网上很多教程都是filebeat读取文件,发送到logstash再解析,然后发送到elasticsearch 找了很久没有找到filebeat读取文件发送到elasticsearch的,今天自己学习记录下 参考文档 filebeat命令
Filebeat 7.8.0版本下载指南及日志文件监控介绍
配置完成后，用户需要启动Filebeat服务，并进行运行状态的监控和日志的检查，以确保数据能够正确地被收集和发送。Filebeat的部署简单，能够快速启动并运行，适用于需要快速实施日志监控的场景。 知识点七：安全性和...
filebeat-6.4.0
12-15
filebeat-6.4.0 压缩包下载，为官方的资源包，更多资源
filebeat6.4.2
12-19
elk基础组件，用于收集日志用的。 用法：文件上传到服务器，解压修改配置文件即可 用法：文件上传到服务器，解压修改配置文件即可
filebeat-6.6.0-linux-x86_64.tar.gz filebeat-6.6.0下载
07-01
filebeat-6.6.0下载。Filebeat相对轻量，占用服务器资源小，故一般选用Filebeat来进行日志收集，代替logstash。（文件全称：filebeat-6.6.0-linux-x86_64.tar.gz）
【ELFK】之Filebeat
种一颗树最好的时间是十年前，其次是现在！
09-03 967
Filebeat适用于转发和集中数据的轻量级传送工具，Filebeat监视了指定的日志文件或位置，收集日志事件，并将他们转发到Elasticsearch或Logstash进行索引。**Filebeat的工作方式：**启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找，对于Filebeat所找到的每个日志，Filebeat都会启动收集器。
FileBeat
qq_34316768的博客
08-14 666
https://www.ibm.com/developerworks/cn/opensource/os-cn-elk-filebeat/index.html ELK学习 filebeat: https://www.cnblogs.com/cjsblog/p/9445792.html Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstas...
Filebeat新手入门（一）安装和启动
u011250186的博客
07-10 485
Filebeat新手入门（一）安装和启动
Filebeat的下载与安装
MissOfSpring的博客
03-24 694
1.下载地址 下载地址 选择自己需要的版本：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值