docker容器启动filebeat采集nginx模版(module)数据

最新推荐文章于 2023-05-19 13:31:54 发布
最新推荐文章于 2023-05-19 13:31:54 发布
阅读量1.4k 收藏 2
点赞数 1
文章标签： docker nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37537645/article/details/119204364
版权

环境


MACOS
docker启动的nginx
docker启动的filebeat

配置


filebeat 的filebeat.yml 增加或修改es和kibana配置：
在这里插入图片描述

filebeat的module的nginx.yml 增加具体path：
在这里插入图片描述
2021年8月2号补充如何将两个日志文件在 ES 中分成两个不同的 index ：
在这里插入图片描述

通过 docker 卷轴的方式先把 nginx容器的日志文件放到宿主机，再通过 docker 卷轴的方式把日志文件放到 filebeat 容器里面，即上图2配置的路径。对于 filebeat 容器需要 -v 映射 filebeat.yml 文件、nginx.yml 文件和nginx的日志文件,如下图：
在这里插入图片描述

TIPS：该方式不需要修改filebeat里面本身的 nginx.yml.disbaled 文件，也不需要执行命令将其enable，也不需要执行 setup 执行环境。

查看


上述配置完成后，启动nginx、filebeat、ES、kibana容器。
打开 localhost:5601 即可查看数据：
在这里插入图片描述

下图是日志文件分成不同的 index 截图：
在这里插入图片描述

10点半～
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Docker容器简单部署nginx过程解析
01-09
1、容器中部署nginx服务 centos：7镜像运行一个容器，并且，在这个容器内部署Nginx服务。 [root@Docker ~]# docker pull centos:7 //下载镜像 [root@Docker ~]# docker run -itd –name webapp –restart=always centos:7 //运行一个容器名为:webapp [root@Docker ~]# docker cp nginx-1.16.0.tar.gz webapp:/root //将本地nginx包导入webapp容器内 [root@Docker ~]# docker exec
解决docker容器启动后马上退出的问题
01-20
最近在看docker如何让容器在启动时直接运行某些进程，后来发现Dockerfile可以在容器启动的时候指定容器运行命令。 CMD指定，但是每个Dockerfile只能有一条CMD指令，如果指定了多条CMD指定，只有最后一条会被执行。 于是就想了一个办法，在写了一个脚本，在脚本里面启动多个进程，在Dockerfile里运行这个脚本。 最后证明这个方法是可行的，在实验过程中遇到一个问题，容器启动后会马上停止。 经查阅资料： Docker容器同时只能管理一个进程，如果这个进程退出那么容器也就退出了，但这不表示容器只能运行一个进程(其他进程可在后台运行)，但是要使容器不退出必须有一个前台执行的进程。
filebeat使用docker-compose启动，收集docker和nginx日志
humanbeng的专栏
05-08 1158
安装elasticsearch # docker-compose.yml version: '3' services: es: image: "elasticsearch:7.12.0" container_name: es restart: always volumes: - ./data:/usr/share/elasticsearch/data - ./logs:/user/share/elasticsearch/logs envir
docker+elk7.8实战之filebeat收集nginx日志
泽济天下的专栏
08-18 1632
本文介绍了如何在linux环境下通过filebeat收集nginx日志并传输到elk中展示。
docker部署Nginx并使用filebeat收集运行日志
qq_41868309的博客
04-08 1420
1，docker部署配置nginx 2，docker部署配置filebeat 3，docker部署配置kibana
filebeat使用modules模板收集nginx日志（十）
江晓龙的博客
06-30 2421
filebeat使用modules收集nginx日志 1.为什么要使用modules收集日志 modules只是filebeat的一个小功能，由于像mysql、redis等这种日志无发输出成json格式，filebeat无法将收集来的普通日志转换为json格式，从而进行细致的统计 logstash可以做到将普通日志转换成json格式，但是配置十分复杂，且容易出错 介于种种不便，elk官方推出了filebeat modules模块功能，将常用服务的日志转换做成了模板，只需要启动模板，配置日志路径即可将普通文
使用filebeat自带模块读取nginx日志和mysql日志,保存到elasticsearch
chen_cxl的博客
12-17 1025
使用filebeat自带模块读取nginx日志和mysql日志,保存到elasticsearch配置 filebeat.yml运行filebeat通过命令开启 不需要改模块配置文件通过配置文件开启使用命令开启模块编辑配置开启filebeat测试结果添加测试日志查看索引列表 网上很多教程都是filebeat读取文件,发送到logstash再解析,然后发送到elasticsearch 找了很久没有找到filebeat读取文件发送到elasticsearch的,今天自己学习记录下 参考文档 filebeat命令
ELK--filebeat nginx模块
qq_44094695的博客
05-30 662
Nginx模块 该nginx模块解析由Nginx HTTP服务器创建的访问和错误日​​志 。 当你运行这个模块的时候，它会执行一些任务： 设置日志文件的默认路径（但不用担心，可以覆盖默认值） 确保每个多行日志事件都作为单个事件发送 使用摄取节点来解析和处理日志行，将数据整形成适合在Kibana中可视化的结构 部署仪表板以可视化日志数据 启用模块： ./filebeat modules enable nginx 要查看启用和禁用模块的列表，请运行： ./filebeat modules list 建立初始
Docker如何进入启动容器
01-11
本文介绍了Docker如何进入启动容器，分享给大家，具体如下： 在使用-d参数时，容器启动后会进入后台，用户无法看到容器中的信息，也无法进行操作。 这个时候如果需要进入容器进行操作，有多种方法，包括使用官方的...
docker run启动的容器挂掉了数据怎么办
01-10
结果客户重启了服务器…再登录到服务器重启服务的时候，发现了一个问题，之前数据库里的数据可能会消失（如果再使用 docker run 启动的话）。 解决办法 尝试1 起初想的是数据肯定丢了，那就只能重新折腾一次数据了，...
nginx-proxy：使用docker-gen的Docker容器的自动nginx代理
02-02
用法要运行它： $ docker run -d -p 80:80 -v /var/run/docker.sock:/tmp/docker.sock:ro jwilder/nginx-proxy然后使用env var VIRTUAL_HOST=subdomain.youdomain.com启动要代理的任何容器$ docker run -e VIRTUAL_...
docker部署filebeat
taishanduba的专栏
08-17 1303
一、背景 最近公司用到了filebeat，所以学习了下这个技术。filebeat是一个轻量级的日志采集工具，使用golang语言开发，可以将日志转发到es，kafka等。官方对filebeat提供了最全面的支持。filebeat的性能非常好，部署简单，是一个非常理想的文件采集工具。相比logstash它的内存占用更少，filebeat开发的目的也是为了替换logstash。当然也有缺点，比如filebeat官方提供的功能比较单一，往往无法满足我们的需求，我们经常把日志采集到kafka，然后借助flink等工
Beats：在 Docker 里运行 Filebeat
Elastic 中国社区官方博客
03-12 7712
Docker是一套平台即服务（PaaS）产品，它使用操作系统级虚拟化来以称为容器的软件包交付软件。容器彼此隔离，并将它们自己的软件，库和配置文件捆绑在一起； 他们可以通过定义明确的渠道相互交流。所有容器都由单个操作系统内核运行，因此比虚拟机更轻便。在目前的很多IT的架构中，Docker的使用越来越普及。这很好，但是一旦有多个容器散布在多个节点上，就需要找到一种方法来跟踪其运行状况，存储，CPU和内...
docker-部署filebeat
ssehs的博客
10-04 4187
前言 filebeat是一个轻量级的日志收集工具，相比logstash，功能更加单一，但是占用的资源较小，下面介绍如何使用docker来部署filebeat。更多信息请参考官方文档。 拉取镜像 docker pull docker.elastic.co/beats/filebeat:7.9.2 运行Filebeat设置 运行Filebeat设置命令将创建索引模式和负载可视化,指示板和机器学习工作。运行这个命令: docker run \ docker.elastic.co/beats/filebeat:7
Beats：如何在 Docker 容器中运行 Filebeat
Elastic 中国社区官方博客
05-19 3078
今天在这篇博客中，我们将学习如何在容器环境中运行 Filebeat。我们在 Host 机器上部署 Elasticsearch 及 Kibana。然后在 Docker 里部署 NGINX。我们使用 Filebeat 来收集 NGINX 里的日志。这个想法是 Filebeat 容器应该从客户端机器上运行的所有容器收集所有日志，并将它们发送到主机上运行的 Elasticsearch。我的主机的 IP 地址是 192.168.0.3。
docker-compose部署filebeat+ELK收集nginx日志
HaZ3876的博客
11-24 584
docker-compose部署filebeat+ELK收集nginx日志
使用docker安装filebeat收集日志
maquealone的博客
06-26 9358
前言 本文主要是记录了使用docker-compose安装filebeat的过程，使用filebeat收集日志，直接发送到elasticsearch。kibana与elasticsearch已经提前安装，也是使用docker-compose安装，可参考我的文章https://blog.csdn.net/maquealone/article/details/89417257。 本来刚开始是想使用...
使用Filebeat收集线上docker日志
weixin_43886546的博客
06-05 6398
Filebeat官网：https://www.elastic.co/guide/en/beats/filebeat/index.html 警告：这里一定要检查好自己安装的filebeat是哪个版本。然后在官网对应版本下，进行参数设置；避免踩坑。 一、概述 Filebeat是Beat成员之一,基于Go语言开发,并且无需添加任何依赖，Logstash 和 filebeat都具有日志收集的功能...
Filebeat的Docker安装
qq_34490951的博客
07-13 7488
Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。以下是filebeat的工作流程：当你开启filebeat程序的时候，它会启动一个或多个探测器（prospectors）去检测你指定的日志目录或文件，对于探测器找...
docker容器启动nginx命令
最新发布
08-12
要在Docker容器中启动Nginx服务器，可以按照以下步骤进行操作： 1. 首先，确保已经安装了Docker并启动了Docker服务。 2. 拉取Nginx镜像。在终端中运行以下命令来拉取Nginx镜像： ``` docker pull nginx ``` 3. 运行Nginx容器。使用以下命令来运行Nginx容器： ``` docker run --name my-nginx -d -p 80:80 nginx ``` 在上述命令中，`--name my-nginx`指定了容器的名称为"my-nginx"，`-d`参数表示在后台运行容器，`-p 80:80`将主机的80端口映射到容器的80端口上。 4. 验证Nginx容器是否已成功启动。使用以下命令来列出正在运行的容器： ``` docker ps ``` 如果你看到列出的容器中有名为"my-nginx"的容器，并且状态为"Up"，那么Nginx容器已成功启动。 现在，你可以通过在Web浏览器中访问`http://localhost`来验证Nginx服务器是否正在运行。你应该能够看到Nginx的默认欢迎页面。 这些步骤将帮助你在Docker容器中启动Nginx服务器。根据需要，你可以使用适当的选项来配置容器的行为，例如指定端口映射、挂载数据卷等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值