![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
【Filebeat】
_laomei_
Debezium Contributor;
Schema Registry Contributor;
flink大数据、微服务体系开发;
展开
-
糟糕的 filebeat
因为公司的服务器和日志所在的kafka集群不是在一个网络下,导致服务器到kafka之间日志传输率受带宽的限制,高峰期一直把带宽跑满,最近花了挺长时间来解决这个问题。问题遇到带宽跑满时,大概率就知道是压缩有问题。我们的filebeat采用了snappy压缩算法,这算法压缩率确实感人,单机发往kafka集群的流量在3Mb/s左右。第一次尝试解决问题看到snappy压缩这么感人,果断立马用了gz...原创 2019-10-29 21:45:33 · 944 阅读 · 0 评论 -
filebeat 启动流程
因为各种各样的原因,好久没有写博客了,还是希望能够坚持下来讲解一下filebeat的启动流程吧,核心功能先不描述了0.0filebeat启动入口在main.go文件内, cmd.RootCmd.Execute()启动filebeat;func main() { if err := cmd.RootCmd.Execute(); err != nil { os.Exit(1) }}...原创 2019-07-24 11:12:26 · 3979 阅读 · 0 评论 -
filebeat 数据采集流程
filebeat启动流程 讲解了filebeat的启动流程,filebeat在构建完crawler对象,开始采集流程。Crawler的start方法内,会启动Inputsfunc (c *Crawler) Start( pipeline beat.Pipeline, r *registrar.Registrar, configInputs *common.Config, config...原创 2019-07-24 15:45:27 · 1453 阅读 · 1 评论 -
filebeat 写IO巨高的问题
在批量部署filebeat 6.2.x后,发现个位数的机器,写IO巨高,大概有20M/s。并且发现,只要开启了include正则后才会出现这个情况,注释掉正则后恢复正常。后面搜索了一下这个问题,大概是因为filebeat在写registry这份文件导致写io高。registry用来记录offset,当filebeat采集的大量日志,只有很少部分匹配正则时,会导致registry疯狂的写。可...原创 2019-09-17 09:57:03 · 2172 阅读 · 3 评论