flume
yagch
这个作者很懒,什么都没留下…
展开
-
flume组件
Flume组件 1、source interceptor 可形成拦截器链 模块化开发和可移植性 性能会低一点 自定义过ETL拦截器 区分类型拦截器 实现interceptor接口 重写四个方法 创建一个静态内部类 initialize 单event intercept 多event intercept 使用单eve...原创 2019-06-10 20:57:33 · 280 阅读 · 0 评论 -
flume项目经验
1、Flume内存参数设置及优化 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded (1)在hadoop102服务器的/opt/module/flume/conf/flume-env.sh文件中增加如下配置 export JAVA_OPTS="...原创 2019-06-10 20:58:32 · 364 阅读 · 0 评论