【EFK日志系统】docker一键部署filebeat、metricbeat

已于 2024-05-31 14:58:30 修改
阅读量829 收藏 29
点赞数 18
分类专栏： 关于运维 文章标签： docker eureka 容器
于 2024-05-31 10:32:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44333320/article/details/139339952
版权

docker一键部署filebeat、metricbeat

上两篇文章写了搭建部署es集群和部署kibana

这篇写一键部署filebeat和metricbeat收集工具

规划服务器是
es01:172.23.165.185
es02:172.23.165.186
es03:172.23.165.187

每一台服务器都要部署metricbeat，用来收集系统日志，监控系统cpu、内存和流量等等，至于filebeat是否要部署取决于你的服务器上是否有应用服务、是否有服务日志需要收集，有则部署

本次filebeat、metricbeat部署在172.23.165.185，如果在其他的服务器，请修改内存映射数量、创建网络等。参考第一个
docker一键部署EFK系统（elasticsearch filebeat kibana metricbeat es-head）
【EFK日志系统】docker一键部署kibana、es-head
【EFK日志系统】docker一键部署filebeat、metricbeat
【EFK日志系统】在kibana操作索引模板、生命周期、管道等

filebeat部署

在es、kibana同级目录创建filebeat和metricbeat

mkdir {filebeat,metricbeat}

创建配置文件

1.创建docker-compose.yml文件

version: '3'
services: 
  filebeat:
    build:
      context: .
      dockerfile: Dockerfile
    image: docker.elastic.co/beats/filebeat:7.10.0
    container_name: filebeat
    privileged: true
    environment:
      - TZ=Asia/Shanghai
    restart: always
#    volumes:
#      - ./filebeat.yml:/usr/share/filebeat/filebeat.yml:rw
#      - ./data:/usr/share/filebeat/data:rw
#      - ./logs:/usr/share/filebeat/logs:rw
#      - ./modules.d:/usr/share/filebeat/modules.d:rw
    networks:
      - es-net

networks:
  es-net:
    external: true

2.创建Dockerfile

FROM docker.elastic.co/beats/filebeat:7.10.0

#COPY ./filebeat.yml /usr/share/filebeat/

一键启动

创建完文件后执行

docker-compose up -d

查看该容器是否正常启动

docker ps

启动正常执行

docker cp -a filebeat:/usr/share/filebeat/data .
docker cp -a filebeat:/usr/share/filebeat/logs .
docker cp -a filebeat:/usr/share/filebeat/modules.d .
docker cp -a filebeat:/usr/share/filebeat/filebeat.yml .

修改配置文件

1.取消docker-compose.yml的注释部分

即卷映射部分注释打开

2.取消Dockerfile的注释部分

即COPY ./filebeat.yml /usr/share/filebeat/

3.编写filebeat.yml
刚刚我们将filebeat.yml复制出来了，在本级目录编写修改

setup.template.enabled: false          #关闭自动加载默认索引模板
setup.ilm.enabled: false  			#关闭默认生命周期
setup.template.overwrite: true       #打开同名覆盖强写
setup.template.name: "application-logs"          #这是你的索引模板名称，下一篇文章创建
setup.template.pattern: "application-logs-*"

logging.level: info
logging.selectors: ["*"]

filebeat.inputs:

  - type: log
    id: java-app1
    enabled: true
    paths:
      - /usr/share/filebeat/datalog/java-app1/*.log   #容器内的日志路径，我们通过volumes将容器外即你的宿主机的日志（想要采集的日志）映射进容器内
    fields:							#自定义预采集服务的各个字段
      env: test
      application: java-app1         
      log_type: app1_log
    ignore_older: 168h						#只采集最新7天的日志
    multiline:									#通过识别时间戳进行多行合并，例如个别日志报错会出现数十行，其实都是一条日志，我们通过时间戳来合并他们
      pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}'
      negate: true
      match: after


  - type: log
    id: java-app2
    enabled: true
    paths:
      - /usr/share/filebeat/datalog/java-app2/*.log
    fields:
      env: test
      application: java-app2
      log_type: app2_log
    ignore_older: 168h
    multiline:
      pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}'
      negate: true
      match: after

  - type: log
    id: java-app4
    enabled: true
    paths:
      - /usr/share/filebeat/datalog/java-app4/*.log
    fields:
      env: test
      application: java-app4
      log_type: app4_log
    ignore_older: 168h
    multiline:
      pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}'
      negate: true
      match: after

processors:           #解析处理器，可以拆分日志，或者增加字段等
  - add_fields:
      target: 'host'
      fields:
        ip: '172.23.165.185'

output.elasticsearch:
  hosts: [ "http://172.23.165.185:9200", "http://172.23.165.186:9200", "http://172.23.165.187:9200" ]
  username: "elastic"
  password: "你的密码"
  index: "application-logs-%{[fields.env]}-%{[fields.application]}-%{+yyyy.MM.dd}"			#自定义index名称，在kibana便于查找
  pipeline: "remove_specific_fields_pipeline"		#管道，阻挡无用字段传输，比如我只需要host.ip，但是除了ip给我传输其他的一大堆，就需要管道拦截（当然不科学哈哈哈）
setup.kibana:
  host: "http://172.23.165.185:5601"
  username: "elastic"
  password: "你的密码"

而后在docker-compose.yml修改镜像迭代启动

查验信息

1.查看是否收到索引信息
终端输入：curl -u elastic:密码 -X GET “http://172.23.165.185:9200/_cat/indices?v&pretty”
2.浏览器输入：http://172.23.165.185:9200/_cat/indices?v&pretty

在这里插入图片描述

也可以登录es-head查看具体的索引信息
172.23.165.185:9100

在界面输入框输入url：
http://elastic:密码@172.23.165.185:9200/

metricbeat部署

创建配置文件

1.创建docker-compose.yml文件

version: '3'
services:
  metricbeat:
    build:
      context: .
      dockerfile: Dockerfile
    image: docker.elastic.co/beats/metricbeat:7.10.0
    container_name: metricbeat
    privileged: true
    network_mode: host
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - /sys/fs/cgroup:/hostfs/sys/fs/cgroup:ro
      - /proc:/hostfs/proc:ro
      - /:/hostfs:ro
#      - ./metricbeat.yml:/usr/share/metricbeat/metricbeat.yml:rw
#      - ./data:/usr/share/metricbeat/data:rw
#      - ./logs:/usr/share/metricbeat/logs:rw
#      - ./modules.d:/usr/share/metricbeat/modules.d:rw
    environment:
      - ELASTICSEARCH_HOSTS=http://172.23.165.185:9200,http://172.23.165.186:9200,http://172.23.165.187:9200
    restart: always
#    networks:
#      - es-net

#networks:
#  es-net:
#    external: true

2.创建Dockerfile文件

FROM docker.elastic.co/beats/metricbeat:7.10.0

#COPY metricbeat.yml /usr/share/metricbeat/metricbeat.yml

一键启动

创建完文件后执行

docker-compose up -d

查看该容器是否正常启动

docker ps

启动正常后执行

docker -a cp metricbeat:/usr/share/metricbeat/data .
docker -a cp metricbeat:/usr/share/metricbeat/logs .
docker -a cp metricbeat:/usr/share/metricbeat/modules.d .
docker cp -a metricbeat:/usr/share/metricbeat/metricbeat.yml .

修改配置文件

1.取消docker-compose.yml的注释部分

即卷映射部分注释打开

2.取消Dockerfile的注释部分

即COPY metricbeat.yml /usr/share/metricbeat/metricbeat.yml

3.编写metricbeat.yml
刚刚我们将metricbeat.yml复制出来了，在本级目录编写修改

# metricbeat.yml
metricbeat.config.modules:
  path: /usr/share/metricbeat/modules.d/system.yml            #采用默认采集模板
  reload.enabled: false

setup.template.enabled: false
setup.ilm.enabled: false
setup.template.overwrite: true
setup.template.name: "system"			#索引模板名称
setup.template.pattern: "system-*"
setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression

logging.level: info
logging.selectors: ["*"]

setup.kibana:
  host: "http://172.23.165.185:5601"
  username: "elastic"
  password: "密码"

output.elasticsearch:
  hosts: ["http://172.23.165.185:9200", "http://172.23.165.186:9200", "http://172.23.165.187:9200"]
  username: "elastic"
  password: "密码"
  index: "system-monitor-test-172.23.165.185-%{+yyyy.MM.dd}"

processors:			#这个部分可以自定义
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - script:					#这个是过滤docker的ip，我们只采集宿主机的
      lang: javascript
      id: "retain-first-ip"
      source: >
        function process(event) {
          var ip = event.Get("host.ip");
          if (ip && ip.length > 0) {
            event.Put("host.ip", [ip[0]]);
          }
        }
  - drop_fields:					#这个是过滤这两个字段的，因为他们很占篇幅
      fields: ["host.mac", "host.os"]
  - add_fields:				#这个是添加字段，比如测试、生产环境
      target: ''
      fields:
        env: 'test'



monitoring:
  enabled: true
  elasticsearch:
    hosts: ["http://172.23.165.185:9200", "http://172.23.165.186:9200", "http://172.23.165.187:9200"]
    username: "elastic"
    password: "密码"

4.编写system.yml（在metricbeat的modules.d）

给这个解除system.yml.disabled

# Module: system
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.10/metricbeat-module-system.html

- module: system
  period: 10s
  metricsets:
    - cpu
    - load
    - memory
    - network
    - process
    - process_summary
    - socket_summary
    #- entropy
    #- core
    #- diskio
    #- socket
    #- service
    #- users
  process.include_top_n:
    by_cpu: 5      # include top 5 processes by CPU
    by_memory: 5   # include top 5 processes by memory

- module: system
  period: 1m
  metricsets:
    - filesystem
    - fsstat
  processors:
  - drop_event.when.regexp:
      system.filesystem.mount_point: '^/(sys|cgroup|proc|dev|etc|host|lib|snap)($|/)'

- module: system
  period: 15m
  metricsets:
    - uptime

#- module: system
#  period: 5m
#  metricsets:
#    - raid
#  raid.mount_point: '/'

查验信息

1.查看是否收到索引信息
终端输入：curl -u elastic:密码 -X GET “http://172.23.165.185:9200/_cat/indices?v&pretty”
2.浏览器输入：http://172.23.165.185:9200/_cat/indices?v&pretty

在这里插入图片描述

也可以登录es-head查看具体的索引信息
172.23.165.185:9100

在界面输入框输入url：
http://elastic:密码@172.23.165.185:9200/

石子君
关注
  • 18
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Metricbeat 采集 Docker 指标
叶康铭的博客
10-20 2678
Dokcer本身命令行界面去管理集群内的资源对象，例如有需求想查看某一些容器在任意的时间段性能的使用情况，如何通过 Elastic Stack 进行一站式的数据采集，数据清洗，数据落地，数据可视化，让数据发挥真正的价值呢？ 架构设计 涉及到 Elastic Stack 中 Metricbeat 是用于采集 Docker 相关的性能指标， Elasticsearch 是用于对于数据落地存储和搜索的引擎， Kibana 是用于对数据可视化的工具。 通过将宿主机的 Docker 套接字映射到 Metricbe.
efk7.13搜集java日志-filebeat配置详解
06-29
efk7.13搜集java日志—filebeat配置详解笔记总结
docker一键部署EFK系统（elasticsearch filebeat kibana metricbeat es-head）
最新发布
打不倒的程序猿
05-30 849
Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能，Beats 还能将数据输送到 Logstash 进行转换和解析。Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。
Beats：在 Docker 里运行 Filebeat
Elastic 中国社区官方博客
03-12 7900
Docker是一套平台即服务（PaaS）产品，它使用操作系统级虚拟化来以称为容器的软件包交付软件。容器彼此隔离，并将它们自己的软件，库和配置文件捆绑在一起； 他们可以通过定义明确的渠道相互交流。所有容器都由单个操作系统内核运行，因此比虚拟机更轻便。在目前的很多IT的架构中，Docker的使用越来越普及。这很好，但是一旦有多个容器散布在多个节点上，就需要找到一种方法来跟踪其运行状况，存储，CPU和内...
docker-部署filebeat
ssehs的博客
10-04 4370
前言 filebeat是一个轻量级的日志收集工具，相比logstash，功能更加单一，但是占用的资源较小，下面介绍如何使用docker来部署filebeat。更多信息请参考官方文档。 拉取镜像 docker pull docker.elastic.co/beats/filebeat:7.9.2 运行Filebeat设置 运行Filebeat设置命令将创建索引模式和负载可视化,指示板和机器学习工作。运行这个命令: docker run \ docker.elastic.co/beats/filebeat:7
docker部署filebeat
taishanduba的专栏
08-17 1340
一、背景 最近公司用到了filebeat，所以学习了下这个技术。filebeat是一个轻量级的日志采集工具，使用golang语言开发，可以将日志转发到es，kafka等。官方对filebeat提供了最全面的支持。filebeat的性能非常好，部署简单，是一个非常理想的文件采集工具。相比logstash它的内存占用更少，filebeat开发的目的也是为了替换logstash。当然也有缺点，比如filebeat官方提供的功能比较单一，往往无法满足我们的需求，我们经常把日志采集到kafka，然后借助flink等工
filebeat
ktianc的博客
11-14 227
#=========================== Filebeat inputs ============================= //读取单个日志文件 filebeat.inputs: - type: log enabled: True paths: - /usr/local/nginx/logs/access.log //读取整个目录 filebeat.i...
EFK日志系统安装配置文档
08-01
ELK、EFK安装及配置文档，详细的阐述了EFK架构，其中包括了kafka、elasticsearch、elasticsearch-head、nodejs、kibana、logstash、filebeat等的安装配置。
k8s搭建EFK日志中心需要的部署文件
06-10
k8s搭建EFK日志中心需要的部署文件，适用于搭建elasticsearch + fluentd + kibana组成的日志分析平台。适合新手小白直接拿来执行使用的k8s部署脚本文件。因为镜像文件较大，所以需要对应镜像文件的请私聊。此种方案...
elk或efk日志报警elastalert-docker安装-仅邮件
06-29
elk或efk日志报警elastalert-docker安装-仅邮件
ELK6.3和Filebeat6.3在Docker-Compose环境下安装和使用
11-29
Centos系统ELK6.3和Filebeat6.3在Docker-Compose环境下安装和使用
ELK-6.3和Filebeat-6.3在docker-compose环境下的安装部署和使用.pdf
11-13
ELK+Filebeat日志监控系统，在docker环境下的安装部署,使用docker环境省去了繁琐的下载安装时间，实现docker快速搭建，ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件(日志系统的三剑客)。
docker-json-filebeat-example
04-28
使用filbeat在Docker中以JSON格式传送日志 从运行springboot应用程序的Docker容器进行日志记录时，“常规”（即基于原始文本）日志格式通常不切实际。 多行堆栈跟踪，格式化的MDC和类似内容需要大量后期处理，即使您可以执行此操作，结果通常也很僵化，很难适应变化。 一个不错的选择是将日志消息视为JSON对象，而不是文本行。 这样，很容易使数据中的所有结构保持完整，并且不需要重新组装堆栈跟踪。 为此，流程中的所有组件都必须知道它们正在使用的输入格式，并适当地处理它。 这是有关如何使用LogbackashLogstender和filebeat执行此操作的示例。 Java配置 无论如何，默认情况下，任何Springboot应用程序中都包括Logback，但是我们需要另一个依赖项来获取JSON编码器。 有不同的可用方式，它们都应以相似的方式工作。 对于此示例，我正在使用：
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统
04-30
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
metricbeat-5.6.8-darwin-x86_64.tar
03-19
Metricbeat是elastic下的项目,在5.1及之后的版本中支持对Docker的监控,需与EK配合使用能在界面上显示,也可直接将数据导入kafka中。
EFK+kafka+head日志分析集群部署.rar
07-04
日志分析集群，在本地centos7虚拟机搭建的Es+firebeat+logstash+kibana+kafka+head的完整集群部署文档，很详细，通常的EFK日志分析，加上kafka的消息队列，可以处理PB级别的日志内容。
通过filebeat实现对docker服务的通用日志收集
夜星
04-24 1253
通过filebeat实现对docker容器的日志收集，并按照服务进行切割展示，以便多主机实例集中展示。
docker安装filebeat、k8s安装filebeat、通过k8s ConfigMap配置filebeat，k8s DaemonSet安装filebeat采集日志到es
qq_32352777的博客
05-10 3247
目录 前言 日志架构 使用节点级日志代理 使用 sidecar 容器运行日志代理 具有日志代理功能的边车容器 从应用中直接暴露日志目录 解决方案 部署应用 通过DaemonSet运行filebeat 通过ConfinMap创建filebeat配置文件 编写yaml脚本运行filebeat 查看日志 参考文档 前言 本博文中涉及解决方案通过参考k8s官方手册和filebeat手册得出，整体通过k8s DaemonSet部署elastic/filebea...
docker部署efk
09-15
要使用Docker部署Elasticsearch Fluentd Kibana（EFK）日志系统，你可以按照以下步骤进行操作： 1. 首先，使用以下命令拉取所需的Docker镜像： ``` docker pull docker.elastic.co/elasticsearch/elasticsearch:...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

石子君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值