作者:余枫
1.问题重现
- 测试环境
1.RedHat7.2
2.CDH6.2.0
3.使用root进行操作
Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能。在不想写Hive UDF的情况下,可以通过使用Python脚本来实现UDF功能。
在Hive中使用Python脚本处理数据时可以通过add file的方式添加脚本文件,在未启用Sentry时add file命令正常执行,但在集群启用Sentry后使用add file命令添加Python脚本时报错"Error: Insufficient privileges to execute add(state=42000, code=0)",如下图所示:
2.问题分析
在查询官方资料后了解到,在Hive启用Sentry后,ADD FILE/JAR命令被加入了黑名单,已经无法使用了。参考地址:
https://www.cloudera.com/documentation/enterprise/5-12-x/topics/cdh_sg_sentry.html
如果要继续在Hive中使用TRANSFORM执行Python脚本,只能使用官方推荐的其他方式。