flume采集日志到hdfs遇到采集一会不采集

最新推荐文章于 2021-06-13 15:06:56 发布

蘑菇丁

最新推荐文章于 2021-06-13 15:06:56 发布

阅读量1.6k

点赞数 1

分类专栏：实验

本文链接：https://blog.csdn.net/haoxiaoyan/article/details/85162790

版权

在4c 4G内存的虚拟机上，Flume采集应用日志时遇到假死问题，表现为数据采集不正常。原因是业务日志增大导致内存不足，以及配置参数不合理。调整包括降低`transactionCapacity`、`batchSize`和`capacity`的值，确保不超过内存限制，并优化`rollInterval`与`idleTimeout`，确保Flume稳定运行。

摘要由CSDN通过智能技术生成

环境4c 4G虚拟机，上面部署应用业务，flume采集应用日志，几乎机器可用内存就几十M,还有4Gswap交换内存，硬件环境就这样，提好几次添加内存，资源有限一直没加。

之前业务日志小flume也可以正常采集日志，但是最近公司flume经常假死，明明进程在数据就是采集不到，之前没在意。都是重启后看有日志，就不管了，第二天一看只采集一个小时就不采集了，苦不堪言，每天都在补数据的路上。配置如下：

#Agent
provider.channels = c1
provider.sources = s1
provider.sinks = k1
#provider Spooling Directory Source
#注(1)
provider.sources.s1.type = exec
provider.sources.s1.shell = /bin/bash -c
provider.sources.s1.command = tail -F /home/logs/test.log
provider.sources.s1.channels = c1
provider.sources.s1.threads = 10
#provider FileChannel
#注(2)
provider.channels.c1.type = file
provider.channels.c1.checkpointDir = /data/logs/test1
provider.channels.c1.dataDirs = /data/logs/test
provider.channels.c1.capacity =