NiFi Processors之PutHDFS

NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。

本文介绍NiFi处理器之一 ：PutHDFS。

描述

写FlowFile数据到Hadoop Distributed File System (HDFS)中。

属性

这里只介绍我使用过的配置：

名称	默认值	允许值	描述	提示
Hadoop Configuration Resources			一个文件或者逗号分隔的文件列表，这些文件包含Hadoop文件系统的配置。如果不配置此项，Hadoop将从classpath中搜索 ‘core-site.xml’ 和 ‘hdfs-site.xml’ 文件或者使用默认值。	系统绝对路径，示例值：/etc/hadoop/conf/core-site.xml；或者NiFi安装目录下的相对路径，例如core-site.xml文件放在NiFi安装目录下的conf/hadoop目录，则示例值为：conf/hadoop/core-site.xml。
Directory			文件写入HDFS的目标目录，如果目录不存在，将被创建。	如果是hdfs用户传过来的文件，则不用提前创建目录，否则需要提前创建目录并修改拥有者，如果处理器发生因用户权限而无法写入数据的错误，可根据错误提示的用户对应修改，比如: hdfs dfs -chown nifi:nifi /nifi