Flume13：Flume的优化

最新推荐文章于 2024-08-29 21:37:55 发布

做一个有趣的人Zz

最新推荐文章于 2024-08-29 21:37:55 发布

阅读量1.7k

点赞数

分类专栏： flume 文章标签： hadoop flume big data

本文链接：https://blog.csdn.net/weixin_40612128/article/details/123238023

版权

flume 专栏收录该内容

17 篇文章 1 订阅 ¥19.90 ¥99.00

订阅专栏

本文介绍了Flume的优化方法，包括调整Flume进程内存大小以避免频繁GC，以及在多Agent环境下如何修改配置以区分日志文件，确保日志分析的有效性和效率。建议内存设置为1G~2G，并通过jstat监控GC情况。同时，通过复制conf目录并修改log4j.properties文件，实现不同Agent的日志分开存储，提高故障排查效率。

摘要由CSDN通过智能技术生成

一、Flume优化

1、调整Flume进程的内存大小，

建议设置1G~2G，太小的话会导致频繁GC
因为Flume进程也是基于Java的，所以就涉及到进程的内存设置，一般建议启动的单个Flume进程(或者说单个Agent)内存设置为1G~2G，内存太小的话会频繁GC，影响Agent的执行效率。
那具体设置多少合适呢？

这个需求需要根据Agent读取的数据量的大小和速度有关系，所以需要具体情况具体分析，当Flume的Agent启动之后，对应就会启动一个进程，我们可以通过jstat -gcutil PID 1000来看看这个进程GC的信息，每一秒钟刷新一次，如果GC次数增长过快，说明内存不够用。

使用jps查看目前启动flume进程

[root@bigdata04 ~]# jps
2957 Jps
2799 Application

执行jstat -gcutil PID 1000

[root@bigdata04 ~]# jstat -gcutil 2799 1000
S0     S1     E      O      M     CCS    YGC     YGCT    FGC    FGCT     GCT   
100.00   0.00  17.54  42.80  96.46

了解本专栏