Filebeat限制采集的日志大小实际应用验证

于 2022-01-04 16:07:01 发布
阅读量2.7k 收藏 2
点赞数
分类专栏： ELK Docker Docker-compose 文章标签： 运维 docker elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44895681/article/details/122300158
版权

  本文是根据上一篇文章拓展的，观看时请结合上一篇文章：容器部署企业级日志分析平台ELK7.10.1（Elasisearch+Filebeat+Redis+Logstash+Kibana）https://blog.csdn.net/qq_44895681/article/details/122115093?spm=1001.2014.3001.5501

-验证1：

  当我们的Nginx日志文件大小超过在filebeat.yml文件中限制的日志大小时，Filebeat在采集时是不会采集超过限制大小的日志的。

准备Nginx日志

[root@es-master21 ~]# ll -h /var/log/nginx/
总用量 69M
-rwxr-xr-x. 1 root root  68M 12月 13 15:15 access.log

-rwxr-xr-x. 1 root root 1.8M 12月  7 23:09 error.log

  可以看到目前 /var/log/nginx/ 目录下的 access.log 日志文件大小是68M，而 error.log 日志文件大小是1.8M。

搭建Filebeat

注意：
  Filebeat要采集的日志目录必须挂载至Filebeat容器中，不然可能无法正常采集。

[root@es-master21 ~]# mkdir -p /mnt/filebeat/

[root@es-master21 ~]# cd /mnt/

[root@es-master21 mnt]# vim docker-compose.yml
  ......
  ......
    filebeat:
    image: store/elastic/filebeat:7.10.1   #镜像依然选择与elk的版本一致
    container_name: filebeat
    restart: always
    volumes:
      - /var/log/nginx/:/var/log/nginx      #filebeat需要采集的nginx日志目录（必须要挂载至容器中）
      - /mnt/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro    #filebeat的配置文件
      - /etc/localtime:/etc/localtime

编写filebeat.yml文件

[root@es-master21 mnt]# cd filebeat/

[root@es-master21 filebeat]# vim filebeat.yml   （使用时删除文件中带#的配置项，不然yml文件格式不对） 
filebeat.inputs:         #inputs为复数，表名type可以有多个
- type: log         #输入类型
  access:
  enabled: true         #启用这个type配置
  max_bytes: 20480     #单条日志的大小限制,建议限制(默认为10M,上面的设置表示超过20M就不会采集了)
  paths:
    - /var/log/nginx/access.log     #监控nginx的access日志，建议采集日志时先采集单一nginx的access日志。
  fields:       #额外的字段（表示在filebeat收集Nginx的日志中多增加一个字段source,其值是nginx-access-21，用来在logstash的output输出到elasticsearch中判断日志的来源，从而建立相应的索引，也方便后期再Kibana中查看筛选数据，结尾有图）
    source: nginx-access-21    

- type: log
  access:
  enabled: true
  paths:
    - /var/log/nginx/error.log
  fields:
    source: nginx-error-21     #额外的字段（表示在filebeat收集Nginx的日志中多增加一个字段source,其值是nginx-error-21，用来在logstash的output输出到elasticsearch中判断日志的来源，从而建立相应的索引，也方便后期再Kibana中查看筛选数据，结尾有图）

setup.ilm.enabled: false

output.redis:       #输出到redis
  hosts: ["192.168.1.21:6379"]    #redis地址及端口
  password: "123456"           #redis密码
  db: 0               #redis的库
  key: "nginx_log"    #定义输入到redis的key名

[root@es-node22 mnt]# docker-compose -f docker-compose.yml up -d

[root@es-master21 mnt]# docker-compose ps
       Name                     Command               State                      Ports
---------------------------------------------------------------------------------------------------------
elasticsearch        /tini -- /usr/local/bin/do ...   Up      0.0.0.0:9200->9200/tcp,:::9200->9200/tcp,
                                                              0.0.0.0:9300->9300/tcp,:::9300->9300/tcp
elasticsearch-head   /bin/sh -c grunt server          Up      0.0.0.0:9100->9100/tcp,:::9100->9100/tcp
filebeat             /usr/local/bin/docker-entr ...   Up
kibana               /usr/local/bin/dumb-init - ...   Up      0.0.0.0:5601->5601/tcp,:::5601->5601/tcp
logstash             /usr/local/bin/docker-entr ...   Up      0.0.0.0:5044->5044/tcp,:::5044->5044/tcp,
                                                              9600/tcp
redis                docker-entrypoint.sh redis ...   Up      0.0.0.0:6379->6379/tcp,:::6379->6379/tcp

注意：
  由于我们在filebeat.yml文件中限制了Filebeat要采集的日志大小最大不超过20M，所以在Filebeat采集日志时是不会采集access.log日志的。

验证1：

1.查看error.log日志文件行数

[root@es-master21 mnt]# cat /var/log/nginx/error.log | wc -l
7166

2.查看Redis中由Filebeat采集后写进来的nginx日志数据

[root@es-master21 mnt]# docker exec -it redis bash
root@d5a4be90c7f6:/# redis-cli -h 192.168.1.21
192.168.1.21:6379> AUTH 123456
OK
192.168.1.21:6379> SELECT 0
OK
192.168.1.21:6379> KEYS *     #创建的key为nginx_log
1) "nginx_log"
192.168.1.21:6379> LLEN nginx_log
(integer) 7166             #可以看到redis的nginx_log中有7166条数据未被消费

  可以看到在Redis中只有7167条数据被写入，说明Filebeat只采集了error.log的日志数据。

3.查看Logstash日志，输出从Redis消费并处理的日志数据

[root@es-master21 mnt]# docker-compose logs -f logstash
...
...
logstash              |        "message" => 2021/10/21 15:27:19 [error] 27216#0: *357254 open() "/usr/local/nginx/html/dist/.well-known/security.txt" failed (2: No such file or directory), client: 11.64.24.136, server: localhost, request: "GET /.well-known/security.txt HTTP/1.1", host: "32.91.142.93", referrer: "http://32.91.142.93/.well-known/security.txt"
logstash              | }
logstash              | {
logstash              |            "log" => {
logstash              |           "file" => {
logstash              |             "path" => "/var/log/nginx/error.log"      #可以看到采集的日志为error.log
logstash              |         },
logstash              |         "offset" => 1863165
logstash              |     },
logstash              |     "@timestamp" => 2021-12-27T09:22:37.192Z,
logstash              |           "host" => {
logstash              |         "name" => "7fddb131a96b"
logstash              |     },
logstash              |         "fields" => {
logstash              |         "source" => "nginx-error-21"
logstash              |     },
logstash              |       "@version" => "1",
logstash              |          "input" => {
logstash              |         "type" => "log"
logstash              |     },
logstash              |            "ecs" => {
logstash              |         "version" => "1.6.0"
logstash              |     },
logstash              |          "agent" => {
logstash              |             "hostname" => "7fddb131a96b",
logstash              |              "version" => "7.10.1",
logstash              |                 "name" => "7fddb131a96b",
logstash              |                   "id" => "95b7e319-228c-4eed-b9c8-26fad0c59d3b",
logstash              |                 "type" => "filebeat",
logstash              |         "ephemeral_id" => "76ec6bc4-39e9-4364-94fb-20f0a7f49122"
logstash              |     },
......
......

4.查看Elasticsearch集群中由Logstash写入了多少条日志数据
在这里插入图片描述在这里插入图片描述
5.访问Kibana并创建索引模式，展示ES中的Nginx日志数据
在这里插入图片描述
在这里插入图片描述
结论：

  当我们的Nginx日志文件大小超过在filebeat.yml文件中限制的日志最大值时，Filebeat在采集日志时是不会采集超过限制大小的日志文件的。

-验证2：

  将Nginx的access.log日志切割一部分，让其小于filebeat.yml文件中限制的20M，再验证采集结果。

1.切割access.log日志文件

  由于是测试，我就直接将access.log日志备份后删除部分内容，让其小于20M。（推荐用脚本和信号对Nginx日志进行自动切割）

[root@es-master21 mnt]# ll -h /var/log/nginx/
总用量 19M
-rwxr-xr-x. 1 root root  17M 12月 30 09:09 access.log

-rwxr-xr-x. 1 root root 1.8M 12月 30 08:58 error.log

2.查看Logstash日志，输出从Redis消费并处理的日志数据

[root@es-master21 mnt]# docker-compose logs -f logstash
...
...
logstash              |        "message" => "42.75.14.10 - - [06/Aug/2021:07:16:41 +0800] \"HEAD /\\xD7\\xEE\\xD0\\xC2.txt HTTP/1.1\" 301 0 \"-\" \"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)\""
logstash              | }
logstash              | {
logstash              |            "log" => {
logstash              |           "file" => {
logstash              |             "path" => "/var/log/nginx/access.log"
logstash              |         },
logstash              |         "offset" => 61173368
logstash              |     },
logstash              |     "@timestamp" => 2021-12-30T01:08:23.839Z,
logstash              |           "host" => {
logstash              |         "name" => "7fddb131a96b"
logstash              |     },
logstash              |         "fields" => {
logstash              |         "source" => "nginx-access-21"
logstash              |     },
logstash              |       "@version" => "1",
logstash              |          "input" => {
logstash              |         "type" => "log"
logstash              |     },
logstash              |          "agent" => {
logstash              |             "hostname" => "7fddb131a96b",
logstash              |              "version" => "7.10.1",
logstash              |                 "name" => "7fddb131a96b",
logstash              |                   "id" => "95b7e319-228c-4eed-b9c8-26fad0c59d3b",
logstash              |                 "type" => "filebeat",
logstash              |         "ephemeral_id" => "2d9ae3f6-e506-4332-a986-dff8b4aa5e47"
logstash              |     },
logstash              |            "ecs" => {
logstash              |         "version" => "1.6.0"
logstash              |     },

3.查看Elasticsearch集群中由Logstash写入了多少条日志数据
在这里插入图片描述

4.访问Kibana并创建索引模式，展示ES中的Nginx日志数据
在这里插入图片描述
在这里插入图片描述
结论：

  在我们将Nginx的access.log日志切割一部分，让其小于filebeat.yml文件中限制的20M后，Filebeat马上就开始采集并写入Redis中供Logstash消费，然后再写入ES集群中，最后由Kibana展示出来。

↓↓↓↓↓↓

 最近刚申请了个微信公众号，上面也会分享一些运维知识，大家点点发财手关注一波，感谢大家。 【原创公众号】：非著名运维 【福利】：公众号回复 “资料” 送运维自学资料大礼包哦！
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

非著名运维

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值