kettle 大数据插件操作 hadoop 没有权限的解决方案

2019独角兽企业重金招聘Python工程师标准>>>

原文：http://kcd.nivalsoul.cn/article/1545533237270

问题

在 windows 上使用 kettle 连接 hadoop 写文件的时候，默认使用的是本机登录用户作为文件属主访问 HDFS 文件的，如果目标路径权限不允许，就会报错。

解决方案

1、修改 HDFS 目录权限
使用 HDFS 管理员登录将相关目录设置为所有人可写，比如 777 权限

2、在 kettle 中指定操作 HDFS 的用户
由于 HDFS 的 Java API 访问是通过获取HADOOP_USER_NAME这个变量来设置用户的，所以可以手动设置该值为 HDFS 上有权限的用户名即可。
1）通过在Spoon.bat中设置
在set OPT=这一行后面提添加内容： “-DHADOOP_USER_NAME=yourHdfsUser”

2）如果是 Java 代码，可以通过如下方式设置

System.setProperty("HADOOP_USER_NAME", "yourHdfsUser"); //指定属主

转载于:https://my.oschina.net/nivalsoul/blog/2992025