![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
FLume知识点
䥲鍀鑤鑀
热爱IT,痴迷大数据,向往人工智能!!!!!!
展开
-
Flume的JVM调优策略
当使用Flume遇到内存溢出等异常时,可参照以下调整你的jvm参数即可.可用 ps -aux | grep flume查看Flume进程使用了多少内存.vi bin/flume-ng修改JAVA_OPTS="-Xmx20m" (默认为20m) 这段是head的最大值 (涉及jvm知识请自补),自行跳调大尝试,但是别超过你的物理内存.vi flume-env.sh(常用修改)解开配置# expor...原创 2018-05-21 08:57:04 · 2047 阅读 · 0 评论 -
Flume - 拦截器、ETL和Routing
拦截器可以在source之后或者sink之前加入。往source上添加拦截器:agent.sources.s1.interceptors=i1 i2 i3定义三个拦截器,i1,i2和i3.i2将接收i1的输出,i3将接收i2的输出,channel选择器接收i3的输出。Timestamp拦截器在header中不存在timestamp时添加该属性:agent.sources.s1.interce...原创 2018-05-21 08:55:09 · 520 阅读 · 0 评论