ogg oracle 测试kafka_使用ogg将Oracle数据传输到flume刷到kafka(续)之内存设置

flume 环境可以根据不同的需求启动多个进程,并配置多个服务。

内存参数可以修改flume-env.sh 脚本中内存设置:

export JAVA_OPTS=" -Xms128m -Xmx512m  -Dcom.sun.management.jmxremote"

一般分配如上大小就可以。

对应OGGpump传输段配置内存大小实例如下:

javawriter.bootoptions=

-Xmx2048m -Xms256m -XX:-UseGCOverheadLimit

-Djava.class.path=/data/ogg_for_bigdata/ggjava/ggjava.jar -Dlog4j.configuration=/data/ogg_for_bigdata/cfg/log4j.properties

可以添加参数

-UseGCOverheadLimit  防止 OOM 出现。

设置好合理的内存后,ogg的pump进程可以正常启动。

info 查看后:

File /data/ogg_for_bigdata/dirdat/ff014656

2019-03-22 14:54:59.000996  RBA 126667880

数据实时更新。

查看 stats 进程:

*** Hourly statistics since 2019-04-09 20:00:04 ***

Total inserts                                    589.00

Total updates                                    555.00

Total befores                                    555.00

Total deletes                                      0.00

Total discards                                     0.00

Total operations                                1144.00

进程正常running

内存参数优化是调整进程挂起事务提交失败的一种方式,具体视配置环境而定。

异常报错如下:

可见内存优化的重要性!!!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值