flume
文章平均质量分 52
AA赵师傅
人家只是个小职员啦,工作多,没提成。别人休假我加班。房贷没还清,保险自己买,不过好在我不用交停车费,因为我根本买不起车。
展开
-
flume初始化内存优化
1)问题描述:如果启动消费Flume抛出如下异常 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 2)解决方案步骤: (1)在hadoop102服务器的/opt/module/flume/conf/flume-env.sh文件中增加如下配置 export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management原创 2021-01-27 21:42:35 · 387 阅读 · 0 评论 -
flume消费kafka数据配置
(1)在hadoop104的/opt/module/flume/conf目录下创建kafka-flume-hdfs.conf文件 [mars@hadoop104 conf]$ vim kafka-flume-hdfs.conf 在文件配置如下内容 ## 组件 a1.sources=r1 r2 a1.channels=c1 c2 a1.sinks=k1 k2 ## source1 ##类型为kafka a1.sources.r1.type = org.apache.flume.sou..原创 2021-01-27 21:37:15 · 1344 阅读 · 0 评论 -
flume组件的选择&配置
Flume组件的选择 1)Source (1)Taildir Source相比Exec Source、Spooling Directory Source的优势 TailDir Source:断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置,实现断点续传(优选选择)。 Exec Source可以实时搜集数据,但是在Flume不运行或者Shell命令出错的情况下,数据将会丢失。 Spooling Directory Source监控目录,不支持断点续传。 (2)b原创 2021-01-26 20:51:26 · 657 阅读 · 0 评论