Flume输出（sink）至hdfs没有生成文件夹

问题描述

Flume运行时，没有链接上hdfs，也没有报出异常。

问题解决

查看官方文档显示
hdfs.path – HDFS directory path (eg hdfs://namenode/flume/webdata/)
在配置conf文件时，需要指定namenode的端口，去hadoop文件下查看core-site.xml文件，这个端口号是配置hadoop时设置的。

vim etc/hadoop/core-site.xml
# 这里我配置的端口号是8020
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop01:8020</value>
</property>

因此在conf中修改

a2.sinks.k2.hdfs.path = hdfs://hadoop01:8020/flume/%Y%m%d/%H

再次运行flume指令可以通过：

hadoop fs -ls /

查看是否生成了flume文件。