Flume监控及参数调优

最新推荐文章于 2024-04-15 20:51:40 发布
VIP文章 最新推荐文章于 2024-04-15 20:51:40 发布
阅读量8.9k 收藏 11
点赞数 2
分类专栏： Flume 文章标签： flume java 内存溢出 heap
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012948976/article/details/51760546
版权

flume监控

在flume传输数据的过程中，打开监控，查看CPU、内存等的变化情况也挺有意思的，见JConsole&VisualVM监控总结 。

另外，当报的错莫名奇妙时，可以尝试调整参数，监控不同效果，往往能快速确定最佳参数，解决问题。

flume各部分参数含义

flume架构详情

  • batchData的大小见参数：batchSize
  • PutList和TakeList的大小见参数：transactionCapactiy
  • Channel总容量大小见参数：capacity

flume错误汇总

  1. 错误1–内存溢出

    • 错误描述

      java.lang.OutOfMemoryError: Java heap space
最低0.47元/天 解锁文章
asin929
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume系列之：-Xmx20m -Xms1024m -Xmx2048m
zhengzaifeidelushang的博客
01-21 1230
flume系列之：-Xmx20m -Xms1024m -Xmx2048m Java HotSpot™ 64-Bit Server VM warning: INFO: os::commit_memory(0x00007fe827200000, 14148960256, 0) failed; error=‘Cannot allocate memory’ (errno=12) 一、flume的bin目录下flume-ng中指定了-Xmx20m cat flume-ng JAVA_OPTS="-Xmx20m"
storm、kafka、flume性能测试
08-16
storm、kafka、flume性能测试相关收集
Flume高级组件、性能优化和进程监控
是希望的博客
01-10 936
文章目录Flume高级组件Source Interceptors对采集到的数据按天按类型分目录存储Channel SectorsReplicating Channel SelectorMultiplexing Channel SelectorSink ProcessorsLoad balancing Sink Processor 负载均衡Failover Sink Processor 故障转移Flume性能优化Flume进程监控 Flume高级组件 Source Interceptors Timestam
解决 Flume 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
想练武，就得下功夫
07-06 253
解决 Flume 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
Flume调优机制
qq_43473129的博客
11-12 345
Flume调优机制 调节Flume的配置参数 1.Source （1）增加source组件的数量，可以增大source读取数据的能力 （2）batchSize参数决定Source一次批量传输到Channel的event数量；将参数batchSize的值调大，可以调高Source搬运event的能力。 2.Channel (1)type选择memory时Channel性能最好，但是容错不行，一旦Fl...
2021-03-12
mojolang
03-12 409
Flume连接HDFS 进入Flume配置 配置flume.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # sources a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 41414 # sin..
Flume的安装与配置
BXMMJ的博客
02-11 449
fflume的安装配置部署，flume与kafka采集的配置案例，flume采集日志脚本启动和停止的编写
Flume监控之Ganglia
01-07
主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。 其详细介绍和工作原理请参考...
关于Flume的优化和高可用
01-20
文章目录Flume优化一、内存参数优化（减少GC）1）-xmx和-xms设置相同值，避免在 GC 后调整堆大小带来的压力。2）JVM heap（堆内存）设置4G或更高二、channel优化Flume如何保证数据安全（高可用）事务机制Flume解决...
Flume参数详解
04-02
consumer的配置参数、producer的配置参数、listener的配置参数详解
Flume简介及基本使用.md
08-07
Flume简介及基本使用，入门篇
Flume集群环境搭建，flume监控
01-13
flume集群环境搭建，详细讲解，图文并茂，包括flume信息监控和众多文章链接
Flume13：Flume的优化
weixin_40612128的博客
03-04 1464
一、Flume优化 1、调整Flume进程的内存大小， 建议设置1G~2G，太小的话会导致频繁GC 因为Flume进程也是基于Java的，所以就涉及到进程的内存设置，一般建议启动的单个Flume进程(或者说单个Agent)内存设置为1G~2G，内存太小的话会频繁GC，影响Agent的执行效率。 那具体设置多少合适呢？ 这个需求需要根据Agent读取的数据量的大小和速度有关系，所以需要具体情况具体分析，当Flume的Agent启动之后，对应就会启动一个进程，我们可以通过jstat -gcutil PID 10
Flume的JVM优化
william823的专栏
04-29 461
当使用Flume遇到内存溢出等异常时，可参照以下调整你的jvm参数即可，可用 ps -aux | grep flume查看Flume进程使用了多少内存.
flume 优化
qq_43192537的博客
09-17 752
flume 优化
flume性能调优
旧时明月
08-08 5154
一个flume-ng agent主要包括source，channel和sink三部分，三部分运行在Java JVM中，JVM一般运行在Linux'操作系统上，因此，这些因素都可能影响最终的性能。flume-ng性能优化与架构设计，简单来讲，也主要包括以上部分。 1, 主键的参数设计 1.1 source的配置 有时候不需要每台主机均安装flume agent,可以和sshpass等命
Flume 数据采集系统 性能优化和关键问题汇总
小草君技术专栏
06-01 1万+
Flume 性能优化 和关键问题汇总 Flume 数据采集系统 性能优化和关键问题汇总 Flume 数据采集系统 性能优化和关键问题汇总
flume性能调优总结
热门推荐
RangeYan
01-06 1万+
fllume经常被用在生产环境中收集后端产生的日志。一个flume进程就是一个Agent。要充分发挥flume的性能最主要的是要调好flume的配置参数。 flume agent配置分为三部分：Source, Channel,Sink. Soure用来接收数据源的数据并放到channel里里面。Channel用来缓存Source放入的数据。Sink用来从channel中取出缓存的数据，并写到下个
记录flume运行时报NullPointerException异常
最新发布
yuanlaishidahuaa的博客
04-15 1194
这个报错的原因是里面有JSONObject这个类找不到，解决办法有两个，要么把对应的这个类单独上传到flume的lib目录下，要么重新打包，把带dependencies的jar传到lib目录下。我要起一个将kafka上的topic_log主题中的数据上传到hdfs上的flume进程。这个报错的原因是这两个文件夹里的数据损坏了，删掉这两个文件里的内容。
flume参数调优确保数据完整性
03-31
在使用Flume进行数据收集时，为确保数据完整性，需要进行参数调优。以下是一些常见的参数调优方法： 1. batch-size：设置每个批次的大小。如果批次太小，可能会导致网络负载过高；如果批次太大，可能会导致数据丢失...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值