docker部署filebeat

最新推荐文章于 2024-09-03 23:57:09 发布
最新推荐文章于 2024-09-03 23:57:09 发布
阅读量1.4k 收藏 5
点赞数 1
分类专栏： 后端 文章标签： filebeat docker 日志收集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taishanduba/article/details/119767503
版权

一、背景

最近公司用到了filebeat，所以学习了下这个技术。filebeat是一个轻量级的日志采集工具，使用golang语言开发，可以将日志转发到es，kafka等。官方对filebeat提供了最全面的支持。filebeat的性能非常好，部署简单，是一个非常理想的文件采集工具。相比logstash它的内存占用更少，filebeat开发的目的也是为了替换logstash。当然也有缺点，比如filebeat官方提供的功能比较单一，往往无法满足我们的需求，我们经常把日志采集到kafka，然后借助flink等工具继续处理。

二、原理

如下图是filebeat的工作流程。首先当业务写入日志后，filebeat的Harvester模块会采集一行或者多行日志，然后Harvester聚合日志发送到输出方，如es、kafka。为了保存文件状态，Harvester会将日志的偏移量记录到registry文件中。每个输入都对应一个registry文件，如果filebeat重启了，会从registry文件恢复。那filebeat如何保证日志至少发送成功一次呢？实际也是用的这个registry文件，发送出后后，如果没有收到成功确认，那么filebat会重新发送，直到成功。

457DFBEE-52A1-41CC-A442-825431B49AF4.png

三、docker部署

考虑到docker的优势，如一致的运行环境，轻松的迁移等，我们采用docker部署filebeat。下面是docker-compose部署的例子

3.1、配置docker-compose文件
version: "3"
services:
    elasticsearch:
      image: elasticsearch:7.11.1
      container_name: elasticsearch
      hostname: elasticsearch1
      environment:
        - discovery.type=single-node
        - bootstrap.memory_lock=true
        - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      ports:
        - 9200:9200
        - 9300:9300
      networks:
        - "elk-net"

    kibana:
      image: docker.elastic.co/kibana/kibana:7.1.1
      environment:
        - SERVER_NAME=kibana
        - ELASTICSEARCH_URL=http://elasticsearch1:9200
        - XPACK_MONITORING_ENABLED=true
      ports:
        - "5601:5601"
      networks:
        - "elk-net"
      depends_on:
        - "elasticsearch"

    filebeat:
      image: docker.elastic.co/beats/filebeat:7.1.1
      volumes:
        - ./filebeat/logs/nginx:/var/log/nginx/
        - ./filebeat/logs/biz:/var/log/biz/
        - ./filebeat/logs/log4j:/var/log/log4j/

        - ./filebeat/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml
      networks:
        - "elk-net"
      depends_on:
        - "elasticsearch"
        - "kibana"
networks:
      elk-net:

这里将采集log4j，nginx和业务日志到es，然后展示到kibana

3.2、配置filebeat
# 详情如下：
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/*.log
  scan_frequency: 10s
  tail_files: true
  fields:
    index_name: "nginx_log"
- type: log
  enabled: true
  #不以[开头的行都合并到上一行的末尾
  multiline.type: pattern
  multiline.pattern: '^[[:space:]]+(at|\.{3})[[:space:]]+\b|^Caused by:'
  multiline.negate: false
  multiline.match: after
  paths:
    - /var/log/log4j/*.log
  fields:
    index_name: "log4j_log"
- type: log
  enabled: true
  multiline.type: pattern
  multiline.pattern: '^[[:space:]]+(at|\.{3})[[:space:]]+\b|^Caused by:'
  multiline.negate: false
  multiline.match: after
  fields:
    index_name: "biz_log"
  scan_frequency: 10s
  pipeline: "extract-traceid-pipeline"
  paths:
    - /var/log/biz/*.log



# # # 7.x的版本中需要禁用此索引生命周期，否则在指定es索引名字的时候会有问题
setup.ilm.enabled: false
setup.template.name: "my-log"
setup.template.pattern: "my-*"
setup.template.enabled: true
setup.template.overwrite: false

# 输出到es
output.elasticsearch:
  #worker: 1
  #bulk_max_size: 1500
  hosts: ["elasticsearch1:9200"]
  index: "pb-%{[fields.index_name]}-*"
  indices:
    - index: "pb-nginx-%{+yyyy.MM.dd}"
      when.equals:
        fields.index_name: "nginx_log"
    - index: "pb-log4j-%{+yyyy.MM.dd}"
      when.equals:
        fields.index_name: "log4j_log"
    - index: "pb-biz-%{+yyyy.MM.dd}"
      when.equals:
        fields.index_name: "biz_log"

D8537B64-4D53-4316-B2A9-A6D06343CEBE.png

pipeline加到es

curl -H "Content-Type: application/json" -XPUT 'http://127.0.0.1:9200/_ingest/pipeline/extract-traceid-pipeline' -d@extract-traceid-pipeline.json

效果如下

A2CDB291-2474-484D-83B0-BFC00DF7C500.png

四、filebeat关键参数

4.1、如何区分不同的日志
  • fields，添加附件字段，可以使values，arrays，dictionaries或者任何嵌套数据。在输出的时候也可以加上条件语句判断，when.equals，然后输出到不同的index
  • 输入添加tag字段，可以用于分组
4.2、如何提取参数，以trace为例

这个使用gork语法可以提取。具体步骤如下

  • 编写pipleline文件
  "description" : "extract-traceid-pipeline",
  "processors" : [
    {
      "grok" :{            
        "field" : "message",
        "patterns" : ["ERROR\\|%{DATA:trace_id}\\|"]  
      }
    }
  ]
}
  • 测试效果

https://www.5axxw.com/tools/v2/grok.html

D091A12E-8039-44B7-A22F-429E72B9FC0F.png
写入到es和filebeat配置文件

curl -H "Content-Type: application/json" -XPUT 'http://127.0.0.1:9200/_ingest/pipeline/extract-traceid-pipeline' -d@extract-traceid-pipeline.json

查看写入效果

FF59012E-D2BA-4BCC-A789-D49AE8F014E4.png

最终效果

CB33BA46-779E-4540-AFC1-13F93866C6C5.png

4.2、如何收集java异常堆栈
  multiline.type: pattern
  multiline.pattern: '^[[:space:]]+(at|\.{3})[[:space:]]+\b|^Caused by:'
  multiline.negate: false
  multiline.match: after
4.3、pipleline为什么不起作用

官网是放在了out中，但是这个版本实际配置不起作用，需要加到input中

- type: log
  enabled: true
  multiline.type: pattern
  multiline.pattern: '^[[:space:]]+(at|\.{3})[[:space:]]+\b|^Caused by:'
  multiline.negate: false
  multiline.match: after
  fields:
    index_name: "biz_log"
  scan_frequency: 10s
  pipeline: "extract-traceid-pipeline"
  paths:
    - /var/log/biz/*.log
4.4、业务日志比较复杂，gork无法处理怎么办

这种情况一般是输出到kafka，然后由其他中间件处理，如flink。

output.kafka:
  # initial brokers for reading cluster metadata
  hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]
  # message topic selection + partitioning
  topic: '%{[fields.log_topic]}'
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000
4.5、如何提高采集效率？

  • 1、配置bulk_max_size参数即可，这是output.elasticsearch的属性，控制发送给Elasticsearch的bulk API中，每批数据能包含多少条event，默认情况下，我们是每行数据一个document(或者说是event)，因此，每次filebeat默认只会发送50行数据，因此，当我们添加进来的数据由几十万行的时候，可以简单推算，我们需要推送多少次bulk request才能完成这个文件的数据录入

  • 2、worker这个也是output.elasticsearch的属性，我们可以指定filebeat使用多高的并发来往Elastic发送数据，我们也可以适当的增加这个值，比如我们的ES集群有3个data节点 hosts: [“10.0.07:9200”,“10.0.08:9200”,“10.0.09:9200”]，我们可以把这个worker设为 3。

  • 3、harvester_buffer_size 这个是Log input的属性，这个属性限定了单个文件采集器harvester每次读取文件的大小，默认的大小是16K。如果我们要增加某些文件的读取吞吐，可以调整这个值的大小。可以通过定义多个input，每个input单独指定的方式来确定不同文件的吞吐大小

参考文档

泰山毒霸
关注
专栏目录
Centos7 docker-compose安装ELK+Filebeat.zip
10-16
在IT行业中，ELK（Elasticsearch、Logstash、Kibana）栈是广泛...通过这个教程，你将能够在CentOS 7上搭建一个功能齐全的ELK+Filebeat日志管理平台，利用docker-compose简化部署流程，高效处理和分析服务器的日志数据。
docker-部署filebeat
ssehs的博客
10-04 4745
前言 filebeat是一个轻量级的日志收集工具，相比logstash，功能更加单一，但是占用的资源较小，下面介绍如何使用docker来部署filebeat。更多信息请参考官方文档。 拉取镜像 docker pull docker.elastic.co/beats/filebeat:7.9.2 运行Filebeat设置 运行Filebeat设置命令将创建索引模式和负载可视化,指示板和机器学习工作。运行这个命令: docker run \ docker.elastic.co/beats/filebeat:7
Beats：在 Docker 里运行 Filebeat
Elastic 中国社区官方博客
03-12 8273
Docker是一套平台即服务（PaaS）产品，它使用操作系统级虚拟化来以称为容器的软件包交付软件。容器彼此隔离，并将它们自己的软件，库和配置文件捆绑在一起； 他们可以通过定义明确的渠道相互交流。所有容器都由单个操作系统内核运行，因此比虚拟机更轻便。在目前的很多IT的架构中，Docker的使用越来越普及。这很好，但是一旦有多个容器散布在多个节点上，就需要找到一种方法来跟踪其运行状况，存储，CPU和内...
Docker 安装FileBeat、Elasticsearch及Kibana详细步骤
最新发布
longchanghua_enshi的专栏
09-03 1557
本文简述免费开源的日志监控平台ELK Stack（Elasticsearch、Logstash、Beats、Kibana）的 docker 安装步骤。
Filebeat的Docker安装
qq_34490951的博客
07-13 7604
Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。以下是filebeat的工作流程：当你开启filebeat程序的时候，它会启动一个或多个探测器（prospectors）去检测你指定的日志目录或文件，对于探测器找...
通过filebeat实现对docker服务的通用日志收集
夜星
04-24 2562
通过filebeat实现对docker容器的日志收集，并按照服务进行切割展示，以便多主机实例集中展示。
docker安装filebeat
sg_knight的专栏
07-15 1809
1、使用docker拉取filebeat镜像 docker pull docker.elastic.co/beats/filebeat:7.13.3 2、下载filebeat配置文件 curl -L -O https://raw.githubusercontent.com/elastic/beats/7.13/deploy/docker/filebeat.docker.yml 3、启动容器 docker run -d --name=filebeat \ --user=root \ -v /m
ELK-6.3和Filebeat-6.3在docker-compose环境下的安装部署和使用.pdf
11-13
ELK+Filebeat日志监控系统，在docker环境下的安装部署,使用docker环境省去了繁琐的下载安装时间，实现docker快速搭建，ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件(日志系统的三剑客)。
ELK6.3和Filebeat6.3在Docker-Compose环境下安装和使用
11-29
在Docker-Compose环境下安装ELK6.3和Filebeat6.3涉及到了容器化技术、ELK组件的架构知识、CentOS操作系统的Docker环境搭建等复杂过程。接下来，我将详细介绍上述过程中涉及的关键知识点。 首先，ELK技术栈包含...
filebeat-7.6.0-linux-x86_64.tar.gz
02-17
在Docker Compose或Kubernetes中，可以将Filebeat作为sidecar容器部署，确保每个应用容器的日志都能被正确收集。 **4. 输出选项** Filebeat支持多种输出方式，包括直接将日志数据发送到Elasticsearch、Logstash，...
Docker 部署 Elasticsearch-Filebeat-Kibana
刘某的博客
03-28 1596
Elasticsearch、Filebeat 和 Kibana 是 Elastic Stack 的三个主要组件，通常用于日志分析、搜索、实时数据监控和可视化。
Beats：如何在 Docker 容器中运行 Filebeat
Elastic 中国社区官方博客
05-19 3521
今天在这篇博客中，我们将学习如何在容器环境中运行 Filebeat。我们在 Host 机器上部署 Elasticsearch 及 Kibana。然后在 Docker 里部署 NGINX。我们使用 Filebeat 来收集 NGINX 里的日志。这个想法是 Filebeat 容器应该从客户端机器上运行的所有容器收集所有日志，并将它们发送到主机上运行的 Elasticsearch。我的主机的 IP 地址是 192.168.0.3。
docker+filebeat
m0_62155641的博客
03-11 233
二，简介：filebeat用于收集指定文件中的数据并输出到指定地方，比如stdout或者elasticsearch。一，环境准备：安装docker（往期文章）'1），下载本作者提供的filebeat镜像。4），进入容器之后启动filebeat。2），获取filebeat镜像。
【EFK日志系统】docker一键部署filebeat、metricbeat
打不倒的程序猿
05-31 1022
上两篇文章写了搭建部署es集群和部署kibana这篇写一键部署filebeat和metricbeat收集工具规划服务器是每一台服务器都要部署metricbeat，用来收集系统日志，监控系统cpu、内存和流量等等，至于filebeat是否要部署取决于你的服务器上是否有应用服务、是否有服务日志需要收集，有则部署本次filebeat、metricbeat部署在172.23.165.185，如果在其他的服务器，请修改内存映射数量、创建网络等。
ELK（filebeat的安装及使用--docker）
Big_math_er的博客
05-11 1412
-v /opt/docker/filebeat/data/:/usr/share/filebeat/data/:rw: 这个选项标志同样指定了一个数据卷，将主机上的 /opt/docker/filebeat/data/ 目录挂载到容器中的 /usr/share/filebeat/data/ 目录，并赋予读写权限。#/opt/docker/metricbeat/data 是要创建的目录的路径。在这个例子中，它会在 #/opt/docker/metricbeat/ 目录下创建一个名为 data 的子目录。
docker搭建EFK（filebeat）收集docker日志，展示到kibana
qq_39746321的博客
03-03 519
docker部署EFK，收集docker容器日志
Docker引擎不同的日志驱动配置以及通过Filebeat采集容器日志的两种解决方案
weixin_42467874的博客
02-06 1891
我们可以使用 docker logs 命令查看 Docker 容器内部应用程序运行时所产生的日志。使用 docker logs 命令可以免除首先进入 Docker 容器，再打开应用程序的日志文件的过程。docker logs 会监控容器中操作系统的标准输出设备（STDOUT），一旦 STDOUT 有数据产生，就会将这些数据传输到另一个“设备”中，该 Docker 的驱动被称为“日志驱动”（Logging Driver）
Docker部署filebeat
08-26
要在Docker中部署Filebeat，你可以按照以下步骤进行操作： 1. 创建一个名为"filebeat.yml"的配置文件，包含Filebeat所需的配置信息。例如： ``` filebeat.inputs: - type: log paths: - /path/to/your/logs/*.log output.elasticsearch: hosts: ["elasticsearch:9200"] ``` 请根据你的实际需求修改路径和Elasticsearch主机。 2. 创建一个Dockerfile，用于构建Filebeat镜像。Dockerfile的内容如下： ``` FROM docker.elastic.co/beats/filebeat:7.15.1 COPY filebeat.yml /usr/share/filebeat/filebeat.yml USER root RUN chown root:filebeat /usr/share/filebeat/filebeat.yml USER filebeat ``` 这个Dockerfile使用了官方提供的Filebeat镜像，并将配置文件拷贝到容器中。 3. 构建Filebeat镜像。在包含Dockerfile和filebeat.yml的目录中执行以下命令： ``` docker build -t my-filebeat . ``` 这将会根据Dockerfile构建一个名为"my-filebeat"的镜像。 4. 运行Filebeat容器。执行以下命令： ``` docker run -d --name=filebeat-container --user=filebeat --volume="/path/to/your/logs:/usr/share/filebeat/logs" my-filebeat ``` 请将"/path/to/your/logs"替换为你实际的日志路径。 现在，Filebeat将在Docker容器中运行，并开始监视指定路径下的日志文件，并将日志发送到Elasticsearch主机。 请记住，这只是基本的部署方法。根据你的环境和需求，可能需要进行更多的配置和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值