filebeat 配置简单优化

最新推荐文章于 2024-05-08 20:58:51 发布
最新推荐文章于 2024-05-08 20:58:51 发布
阅读量2k 收藏 1
点赞数
分类专栏： 信息安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whimewcm/article/details/105539044
版权
filebeat 配置优化

  1. 实验环境

    本架构采用 filebeat + ELK搭建，将suricata节点收集到的日志数据通过filebeat 发送到logstash，由logstash 发送到 elasticsearch 进行索引。

    • filebeat: 单核，主存3GB。
    • ELK: 双核，主存8GB

  2. 问题描述

    通过kibana的监视工具xpack可以看到，elasticsearch 的索引速度基本在250/s 以下。在filebeat 节点上通过top命令也可以看到，CPU和内存利用率也不高。
    在这里插入图片描述
    在这里插入图片描述

  3. 配置优化

    首先，根据官方文档，查找到几个可以优化的选项：

    • harvester_buffer_size: 每个harvester获取日志数据时使用的缓冲区大小，单位是byte
    • filebeat.spool_size: filebeat 读取数据后将事件放入内存队列，适当增大size可以避免频繁的更新队列，单位字节
    • filebeat.idle_timeout: 设置队列超时时
最低0.47元/天 解锁文章
whime_sakura
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何采集filebeat_通过pprof优化filebeat性能
weixin_32459211的博客
01-11 900
目前我们日志收集组件使用的是filebeat6.6.1，在某业务上线以后，发生了日志收集延迟的问题，最差的情况，延迟两天以上。严重影响了下游数据分析项目。分析该业务日志之后，发现该业务日志量大，但是单日志filed非常少。之前我们在压测的时候，已经设置了output批量发送。再加上观察kafka集群的性能监控，基本上可以排查是下游集群的影响。针对该问题，今天的主角该出场了--pprof。pprof...
filebeat性能调优参数
weixin_38424594的博客
11-18 6398
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 想要很好的用好filebeat,不要太小看这个看似轻量级的组件不会对服务造成什么影响,如果稍微不注意,可能对服务器造成cpu强占有,OOM,也伴随着...
2024年软件测试最全Day 18 记filebeat内存泄漏问题分析及调优，一种非常简单的软件测试屏幕适配方案
最新发布
2401_84715732的博客
05-08 736
另一个可能是，filebeat只配置监控了一个文件，比如test2.log，但由于test2.log不停的rotate出新的文件，虽然没有使用通配符采集该目录下的所有文件，但因为linux系统是使用inode number来唯一标示文件的，rotate出来的新文件并没有改变其inode number，因此，时间上filebeat还是同时开启了对多个文件的监控。而类似的异常会导致内存泄漏。
Filebeat系统资源使用优化
******* ▄︻┻┳═一 *******
01-29 3471
Filebeat在生产部署后，必定会对服务CPU、内存、网络有影响，如果将这些因素都在可控范围内，那是完全可以接受的。但是可能由于我们的配置不合理，或者非预期的情况导致CPU、内存占用过大，势必会影响到同在一起的业务应用稳定性。 问题场景     将filebeat部署到生产环境，或者某个参数配置错误，都可能会出现意想不到的问题，轻则影响服务的整体性能，重则可能造成应用被OOM-killer导致业务中断。我们在刚开始使用filebeat时，觉得这个组件已经如此成熟，应
11.ELK-针对filebeat索引优化
JCWang的博客
07-19 309
针对filebeat索引优化 官方：https://www.elastic.co/guide/en/beats/filebeat/6.6/configuration-template.html 1.默认生成的索引名称，有时候不是我们想要的 2.我们可以通过修改配置文件的方试来，生成我们想要的索引名称 修改filebeat的主配置文件 vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /var
ELK下filebeat性能调优
qq_40907977的博客
03-03 1710
filebeat作为ELK全家桶中的采集器，具备开箱即用的特点，配置非常简单。生产环境实践下来有几个值得关注的地方： 1.适当设置clean_和ignore_，防止文件重收 2.exclude_files是匹配的文件路径，如/home/davinciyxw/files/test.log，不能设置[’^test’]，而是设置[‘files/test’]来匹配 3.适当减少filebeat.idle_...
ELK之filebeat配置总结
davinciyxw的专栏
02-14 1224
filebeat作为ELK全家桶中的采集器，具备开箱即用的特点，配置非常简单。生产环境实践下来有几个值得关注的地方：1.适当设置clean_*和ignore_*，防止文件重收2.exclude_files是匹配的文件路径，如/home/davinciyxw/files/test.log，不能设置['^test']，而是设置['files/test']来匹配3.适当减少filebeat.idle_t...
filebeat配置文件
07-12
filebeat配置文件
efk7.13搜集java日志-filebeat配置详解
06-29
efk7.13搜集java日志—filebeat配置详解笔记总结
filebeat主配置文件
08-30
这个文件主要配置是指定需要发送给远程logstash的本地日志文件地址，以及远程logstash的IP地址和端口
filebeat收集nginx日志的配置文件
02-11
本资源结合我的博客一并使用，用于解决filebeat收集nginx日志用的
filebeat.yml
07-27
对于filebeat初学者，配置filebeat总会遇到各种疑难，特提该配置，可以搭建正常的运行环境
Filebeat优化实践
chuzong1354的博客
08-22 883
Filebeat优化实践 背景介绍 目前比较主流的日志采集系统有ELK(ES+Logstash+Kibana),EFK(ES+Fluentd+Kibana)等。由于Logstash出现较早，大多数日志文件搜集采用了Logstash。但由于Logstash是JRuby实现的，性能开销较大，因此我...
filebeat 写IO巨高的问题
laomei
09-17 2123
在批量部署filebeat 6.2.x后，发现个位数的机器，写IO巨高，大概有20M/s。 并且发现，只要开启了include正则后才会出现这个情况，注释掉正则后恢复正常。 后面搜索了一下这个问题，大概是因为filebeat在写registry这份文件导致写io高。 registry用来记录offset，当filebeat采集的大量日志，只有很少部分匹配正则时，会导致registry疯狂的写。 可...
Filebeat的一些重要配置
热门推荐
点火三周的专栏
02-17 1万+
文章目录X-Pack商业付费功能介绍成本类功能可搜索快照效率集中化 Beats 管理集中化 Logstash 管道管理产品安全审计日志IP 筛选LDAP、PKIElasticsearch 令牌服务单点登录（SAML、OpenID Connect 和 Kerberos）基于属性的访问控制字段和文档级别安全性自定义身份验证和授权 Realm数据静态加密支持FIPS 140-2 模式集群监控与告警多堆栈监测可配置保留政策自动堆栈问题告警WatcherKibana 操作：电子邮件、PagerDuty、Service
Filebeat 的学习笔记
weixin_45866849的博客
07-12 2118
Filebeat 是一个用于转发和集中日志数据的轻量级传送工具。作为代理安装在您的服务器上，Filebeat 监控您指定的日志文件或位置，收集日志事件，并将他们转发到 Elasticsearch 或 Logstash 以进行索引。...
vivado fir .coe问价生成
baivhniq的博客
10-25 277
clear load('Model.mat', 'Ph', 'Sh1', 'Sh2', 'Sh3', 'Sh4'); width=16; T=2048; Pw=Ph(1,:); Sw=Sh1(1,:); Swhat = Sw; Sw1=Sh1(3,:); X=randn(1,T); Yd=filter(Pw, 1, X); Cx=zeros(1,400); % the state of C(z) Cw=zeros(1,400); % the weight of C(z) S...
Filebeat(8.7.0)实战配置
zsexkong的博客
06-13 1412
topic: "kafka-name-topic" # 输出到kafka的哪个topic。pattern: '^\[BEGIN|^Caused by' # 匹配的规则。主要是记录多行合并的真实配置，避免新人踩坑。hosts: ["x.x.x.x:9092"] # 输出的kafka地址。- /home/logs/auth/*.log # 抓取的日志地址。id: my-filestream-auth # id需要唯一。tags: ["auth-log"] # 给抓取的数据打上标签。
部署ELK+Filebeat日志收集分析系统
Bertram的博客
08-19 1735
部署ELK+Kafka+Filebeat日志收集分析系统 需求背景： 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据，需要我们运维到服务器上分析日志 1、环境准备 1.1 环境规划 环境准备的机器 IP地址 主机名 部署服务 192.168.1.128 es-01 elasticsearch、kibana、 logstash 192.168.1.12
filebeat配置
08-25
Filebeat 是一个轻量级的日志数据收集器，用于将日志数据从服务器发送到中央日志存储或分析工具。它支持多种数据源和输出目标，并具有灵活的配置选项。 以下是一个简单的 Filebeat 配置示例： ``` filebeat.inputs: - type: log paths: - /var/log/app.log output.elasticsearch: hosts: ["localhost:9200"] ``` 上面的配置示例指定了一个日志输入（`filebeat.inputs`）和一个 Elasticsearch 输出（`output.elasticsearch`）。`type` 参数指定了输入类型为日志文件，`paths` 参数指定了要收集的日志文件路径。`hosts` 参数指定了 Elasticsearch 的地址和端口。 你可以根据你的需求自定义更多的配置选项，例如添加更多的日志输入、配置输出到其他目标如 Logstash 或 Kafka，以及设置日志过滤、解析和增强等功能。 注意：这只是一个简单的示例配置，你需要根据你的具体环境和需求进行相应的配置调整。请参考 Filebeat 官方文档以获取更多详细信息和配置选项：https://www.elastic.co/guide/en/beats/filebeat/current/index.html

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值