2022-08-29 解决Flume内存溢出问题

最新推荐文章于 2023-03-27 14:13:25 发布

D___H

最新推荐文章于 2023-03-27 14:13:25 发布

阅读量666

点赞数

分类专栏：大数据学习文章标签： jvm java 开发语言

本文链接：https://blog.csdn.net/D___H/article/details/126587570

版权

大数据学习专栏收录该内容

32 篇文章 0 订阅

订阅专栏

1. 问题背景

内存溢出，提示：ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded

2. 解决方案

# 向flume-env.sh添加内容
vim $FLUME_HOME/conf/flume-env.sh

# 尾部添加内容如下
export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

3. 参数解释

参数	解释
Xms	JVM分配给flume的初始的内存大小
Xmx	JVM能够分配给flume的最大内存大小

一般设置Xms = Xmx，可以避免内存抖动带来的性能消耗。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

D___H

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
2022-08-29 解决Flume内存溢出问题

解决Flume内存溢出问题
复制链接

扫一扫

专栏目录

flume-interceptor-1.0-SNAPSHOT.jar

08-16

注意：flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-...

flume-ng-sql-source-1.5.2

10-12

Flume-ng-sql-source-1.5.2是Apache Flume的一个扩展，它允许Flume从SQL数据库中收集数据。Apache Flume是一个分布式、可靠且可用于有效聚合、移动大量日志数据的系统。"ng"代表"next generation"，表明这是Flume的...

参与评论您还未登录，请先登录后发表或查看评论

解决Flume数据采集中出现的几个问题

ForestCat的专栏

06-23

1564

22/06/23 12:08:58 ERROR hdfs.HDFSEventSink: process failed sinkjava.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null

Flume内存溢出问题及解决方案

沐雨金鳞

09-19

2517

我们使用Flume进行日志收集的时候，经常会遇到org.apache.flume.ChannelFullException的问题问题原因： channel c1的内存不足 sinks的熟读跟不上source的速度，buffer的大小太紧张了解决： 1、从channel参数入手 agent.channels.memoryChanne3.keep-alive = 60 agent.channels.memoryChanne3.capacity = 1000000 参数说明 ca

Flume启动内存溢出错误

火羽的博客

11-15

5224

bug修复 “二总”，感谢“二总”的分享在ambari集群下启动flume造成内存溢出的报错在使用 channels.c1.type = memory 时启动flume报JVM内存溢出错误：java.lang.OutOfMemoryError: Java heap space java.lang.OutOfMemoryError: GC overhead limit exceeded解决方案

flume内存溢出解决

hello_java_lcl的博客

05-19

1052

flume内存溢出，在conf文件夹中，有flume-env.sh文件，里面有 # export JAVA_OPTS="$JAVA_OPTS -Dorg.apache.flume.log.rawdata=true -Dorg.apache.flume.log.printconfig=true " 这个配置项，但是好像不起作用，需要到bin目录下，修改flume-ng启动命令： vim打开这个文件，执行搜索命令 :/JAVA_OPTS 找到这里，进行修改; 内存溢出解决。 ...

（5）关于Flume内存溢出的问题，此时会报各种莫名奇妙的异常，异常如下 [html] view plain copy print? <span style="font-size:18px;">org

qq_20744301的博客

08-07

1647

（5）关于Flume内存溢出的问题，此时会报各种莫名奇妙的异常，异常如下 [html] view plain copy print? span style="font-size:18px;">org.apache.avro.AvroRuntimeException: Unknown datum type: java.lang.Exception: jav

flume内存溢出

weixin_34138377的博客

06-07

920

2019独角兽企业重金招聘Python工程师标准>>> ...

apache-flume-1.5.0-cdh5.3.6-bin.zip

03-15

flume-1.5.0-cdh5.3.6。大数据日志收集工具 flume-1.5.0-cdh5.3.6。大数据日志收集工具flume-1.5.0-cdh5.3.6。大数据日志收集工具flume-1.5.0-cdh5.3.6。大数据日志收集工具flume-1.5.0-cdh5.3.6。大数据日志...

Flume-ng-1.6.0-cdh.zip

04-08

Flume-ng-1.6.0-cdh.zip 内压缩了 3 个项目，分别为：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz，选择你需要的版本。

flume-ng安装

01-05

Flume-NG 安装与配置指南 Flume-NG 是一个分布式日志收集系统，能够从各种数据源中实时采集数据，并将其传输到集中式存储系统中。本文将指导您完成 Flume-NG 的安装和基本配置。安装 Flume-NG 1. 先决条件：...

Flume

qq_39128254的博客

02-09

272

栈溢出 --&amp;amp;amp;gt;递归栈内存溢出 --&amp;amp;amp;gt;给栈空间分配的内存不够(多线程,线程太多,导致内存不够分配) 内存分配:java虚拟机当有一个线程过来,就会分配一个栈内存分布式集群服务器的负载均衡客户端负载均衡(客户端自己做负载均衡) Zookeeper的作用就是注册中心,绑定地址 ...

Flume基础——上

weixin_42596778的博客

07-11

159

Flume的作用：之前学习了Hadoop的hdfs（分布式文件储存系统），MapReduce（分布式计算)。今天学习Flume日志系统，它的作用的是可以对日志进行收集，存储，传输。 Flume中记录日志信息的载体Event： Event由两部分——headers和body Flume会将收集到每一条日志封装成一个Event对象，所以一个Event就是一条日志 Event本质上是json串，即Flume将收集到的每一条日志封装了一个个的json，一个json就是一个Event class Add im

Flume运维中遇到的问题

h952520296的博客

11-02

1076

关闭文件异常，同名的文件被不同的flume agent打开，在文件第二次打开后，先前打开的agent拥有的token就失效了，因此无法关闭它，尝试设置以下参数。把 JAVA_OPTS="-Xmx20m" 改为 JAVA_OPTS="-Xmx2048m"修改后，重启flume,生效，flume恢复正常运行。尝试后发现，无效，flume后续依然触发了该报错。重启agent，顺畅running。# source增加配置。# sink增加配置。

大数据之电商数仓(6) | 消费Kafka数据Flume

Knight

07-23

506

目录日志消费Flume配置Flume内存优化Flume组件日志消费Flume启动停止脚本采集通道启动/停止脚本日志消费Flume配置 1.Flume的具体配置如下：（1）在hadoop14的/export/servers/flume/conf目录下创建kafka-flume-hdfs.conf文件 a1.sources=r1 r2 a1.channels = c1 c2 a1.sinks = k1 k2 a1.sources.r1.type = org.apache.flume.source.ka

Flume使用过程中的异常（OOM）

weixin_43468369的博客

07-22

834

1、发现启动Flume抛出异常 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 解决方案：明显OOM异常，需要调大内存顾在flume中的flume-env.sh 配置： export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote" 参数解释： -Xms表示JVM Heap(堆内存)最小尺

Expected timestamp in the Flume event headers, but it was null：搭建flume多路复用写数据到hdfs时所遇问题与解决

破晓的成长之路

09-19

1898

在进行本机实践时遇到的错误具体见这篇博客：flume复制和多路复用简单示例（监控日志文件对接hdfs、kafka、本地文件系统）错误如下： 19/09/17 03:59:34 ERROR hdfs.HDFSEventSink: process failed java.lang.NullPointerException: Expected timestamp in the Flume event ...

Flume内存优化

PhoenixLuo·的博客

03-27

414

Xmx和-Xms最好设置一致（或者设置的差距不要太大），减少内存抖动带来的性能影响。-Xmx表示JVM Heap（堆内存）最大允许的尺寸，按需分配，但不能超过物理内存。Flume是基于Java的，当使用flume遇到内存溢出等异常，可以调整JVM参数。-Xms表示JVM Heap（堆内存）最小允许的尺寸。查看flume使用了多少内存。

大数据（4b）Flume经验

ArYe

08-12

289

大数据 flume Kafka hdfs 压缩拦截器优化滚动小文件

sudo mv ./apache-flume-1.7.0-bin ./flume

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交