hadoop 没有权限的解决方案(包含kettle)

问题
在 windows 上使用 kettle 连接 hadoop 写文件的时候,默认使用的是本机登录用户作为文件属主访问 HDFS 文件的,如果目标路径权限不允许,就会报错。

解决方案
1、修改 HDFS 目录权限

使用 HDFS 管理员登录将相关目录设置为所有人可写,比如 777 权限

2、在 kettle 中指定操作 HDFS 的用户

由于 HDFS 的 Java API 访问是通过获取HADOOP_USER_NAME这个变量来设置用户的,所以可以手动设置该值为 HDFS 上有权限的用户名即可。
1)通过在Spoon.bat中设置,在set OPT=这一行后面添加内容:

“-DHADOOP_USER_NAME=yourHdfsUser”

2)如果是 Java 代码,可以通过如下方式设置

System.setProperty("HADOOP_USER_NAME", "yourHdfsUser"); //指定属主

二、Linux上执行hdfs文件输出路径不正确
问题:可能创建了文件没有写数据,可能写到linux本地文件路径下,可以按如下设置试试:

在spoon.sh下修改参数 opt字符串里增加

-Dpentaho.karaf.root.transient=true

转自 https://blog.csdn.net/nivalsoul1/article/details/125140428

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值