在CDH6.2.0集群中，启用Sentry后，Hive的ADD FILE命令报错导致无法使用TRANSFORM。分析表明ADD FILE在Sentry环境中受限。本文提供两种解决方案：1) 使用Python全路径和脚本全路径，确保集群每个节点都有相同环境和脚本；2) 将Python脚本上传到HDFS并使用Sentry授权。补充测试验证了解决方案的有效性。
Fayson的github： https://github.com/fayson/cdhproject
推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f
1 问题重现
测试环境
1.RedHat7.2
2.CDH6.2.0
3.使用root进行操作
Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能。在不想写Hive UDF的情况下，可以通过使用Python脚本来实现UDF功能。
在Hive中使用Python脚本处理数据时可以通过add file的方式添加脚本文件，在未启用Sentry时add file命令正常执行，但在集群启用Sentry后使用add file命令添加Python脚本时报错"Error: Insufficient privileges to execute add(state=42000, code=0)"，如下图所示：
2 问题分析
在查询官方资料后了解到，在Hive启用Sentry后，ADD FILE/JAR命令被加入了黑名单，已经无法使用了。参考地址：
https://www.cloudera.com/documentation/enterprise/5-12-x/topics/cdh_sg_sentry.html
最低0.47元/天 解锁文章
扫一扫
254
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
