![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark SQl
文章平均质量分 84
努力的平平
正在学习大数据计数,热衷于Spark学习
展开
-
SparkSQL集成sentry权限认证
0、SparkSQL要集成sentry权限认证要解决下面几个问题:1、从hive认证hook中找到sentry认证方法,并将认证代码提取出来2、从spark sql的逻辑计划中提取sentry认证方法所需的参数3、通过spark sql extensions将认证添加到spark sql的执行过程中1、提取sentry认证方法从sentry源代码中逐步查看hive hook的代码,终于找...原创 2019-11-05 19:15:16 · 1978 阅读 · 3 评论 -
Kyuubi采坑记录
1、hive meta server使用sentry权限认证,kyuubi在opensession的时候初始化默认数据库会报空指针异常问题版本:0.8原因:hive metahook过滤元数据的时候需要从配置中获取用户名,属性名是hive.sentry.subject.name,但是在sparkcontext初始化的时候并没有设置该属性解决方案:在sparkcontext初始化的时候设置参数...原创 2019-11-04 18:22:09 · 1065 阅读 · 0 评论