利用Submarin集成Spark-Ranger

已于 2022-10-30 14:37:45 修改
阅读量1.2k 收藏 2
点赞数 2
分类专栏： Spark 大数据 文章标签： spark hive big data
于 2022-05-03 14:38:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/124555017
版权
本文详细介绍了如何利用Submarin集成Spark与Ranger，通过Ranger控制Spark SQL的权限。首先，确保已安装Spark、Hive、kerberos和Ranger，并完成相关配置。接着，从release-0.6.0-RC0版本打包submarine-spark-security插件，并将其添加到Spark的jar目录。在Ranger管理界面创建Spark Server策略。配置Spark的相关安全文件，并启动Spark-SQL SparkServer。通过测试验证了Ranger能够成功控制Spark SQL的权限。文章还提及了其他kerberos用户权限控制的问题，以及如何扩展多个spark.sql.extensions。
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

本文总结如何利用Submarin集成Spark-Ranger，通过ranger控制Spark SQL的权限

前提

已经安装了Spark、Hive、kerberos、Ranger,并且Hive已经集成了Ranger,本文环境基于Ambari

submarine-spark-security 插件打包

官网文档https://submarine.apache.org/docs/userDocs/submarine-security/spark-security/README (0.6.0版本)

git clone https://github.com/apache/submarine

当前master分支（0.7.0）已经没有submarine-s

了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
使用Apache Ranger授权Amazon EMR上的SparkSQL数据操作
亚马逊云科技专栏
10-31 630
从 Amazon EMR 5.32 开始，Amazon EMR 引入了 Apache Ranger 2.0 支持，这让您可以为 Apache Spark、Amazon Simple Sto...
Ranger、LLAP管理SparkSQL权限配置(hiveserver2)
TBSOD的博客
05-08 3359
转载：https://zhuanlan.zhihu.com/p/35647068 概述 之前一直使用ranger管理hive的用户权限，现在系统要集成SparkSQL(thriftserver)，但是在ranger下并没有SparkSQL的相关的插件，通过搜集HORTONWORKS相关资料，可以给SparkSQL配置LLAP（关于LLAP的更多细节，查看https://cwiki.apache...
探索数据安全新境界：Apache Spark SQL Ranger Security插件深度揭秘
最新发布
gitblog_00057的博客
08-06 543
探索数据安全新境界：Apache Spark SQL Ranger Security插件深度揭秘 spark-rangerACL Management for Apache Spark SQL with Apache Ranger项目地址:https://gitcode.com/gh_mirrors/sp/spark-ranger 随着大数据的爆炸性增长，数据安全性成为了企业不可忽视的核心议题。...
提高数据的安全性和可控性，数栈基于 Ranger 实现的 Spark SQL 权限控制实践之路
a958014226的博客
05-17 660
在 Ranger 中添加一个新服务的权限校验可分为两部分：第一部分是为 Ranger 增加新服务模块；第二部分是在新服务中增加 Ranger权限校验插件。● Ranger 增加新服务模块Ranger 增加新服务模块是在 Ranger Admin Web UI 界面增加对应服务模块，用来为对应服务添加对应资源的授权策略。
APACHE RANGER 调研----ranger 原理解析
01-26
Apache Ranger是基于Hadoop生态系统的安全组件，用于集中管理和监控Hadoop的安全性。它提供了对Hadoop数据的细粒度访问控制，支持多种数据源，包括但不限于HDFS、HBase、Storm、Kafka、Solr等。本文对Apache Ranger...
APACHERANGER调研----ranger原理解析
02-23
(1)管理员设置策略以及用户(例如一个用户对一个hive数据库相关的权限）(2)用户通过jdbcbeeline去请求HiveServe2(3)hive权限check，请求rangerapi获取策略是否已经更新，更新了就利用新的策略，如果没有更新利用本地...
apache-ranger-2.1.0
09-02
`ranger-2.1.0-solr_audit_conf.tar.gz`提供了Ranger的Solr审计配置，Ranger可以集成Solr进行审计日志的存储和检索，以便于分析和监控系统的访问行为。 最后，`ranger-2.1.0-tagsync.tar.gz`是标签同步工具，它允许...
ranger-2.0.0-SNAPSHOT-ranger-tools.tar.gz
11-20
3. **ranger-kafka-plugin**: 提供Ranger与Apache Kafka的集成，使得Kafka主题级别的权限控制成为可能。 4. **ranger-elasticsearch-plugin**: 用于Elasticsearch的Ranger插件，帮助在Elasticsearch集群上实施访问...
hadoop生态组件——ranger（hdfs,hive,spark）相关文章
TBSOD的博客
05-08 403
ranger实施文章： 讨论有关HDFS的Ranger政策（HDFS 策略实施） https://pierrevillard.com/category/apache-ranger/ 关于Ranger和HDFS的最佳实践 https://fr.hortonworks.com/blog/best-practices-in-hdfs-authorization-with-apache-rang...
HDFS、Yarn、Hive…MRS中使用Ranger实现权限管理全栈式实践
华为云官方博客
07-15 1555
Ranger为组件提供基于PBAC的鉴权插件，供组件服务端运行，目前支持Ranger鉴权的组件有HDFS、Yarn、Hive、HBase、Kafka、Storm和Spark2x，后续会支持更多组件。
用ranger对hive metastore 进行授权管理
从大数据到人工智能的博客
01-16 2928
hive standalone metastore 3.1.2可作为独立服务，作为spark、flink、presto等服务的元数据管理中心，然而在现有的hive授权方案中只有针对hiveserver2的授权，所以本文针对hive standalone metastore独立服务使用ranger对连接到hive metastore的用户进行授权访问，以解决hive standalone metastore无权限验证问题。 为了测试验证，本文所作的操作都在一台centos 7.6主机上执行。 ranger编译
基于kyuubi+spark3 加速hive批计算任务
a80090023的专栏
12-02 6930
​​​0x00背景 我司报表平台大量ETL任务原来采用hive on tez引擎执行批计算任务，存在资源不足执行慢等问题急需解决。 经调研及测试，我们发现spark 3.0引擎在sql兼容性及执行速度等方面有巨大优化，平均执行速度是hive的2-10倍，因此我们计划通过spark3.0进行离线加速工作。 0x01架构 ​​​​​​​​​​​​​​​​​kyuubi 1.3.0 spark 3.1.2 Scala 2.12 Submarine:Spark Sercurity 0.6.0..
查询各个分区的数据量_大数据技术之SparkCore（六）Ranger分区原理
weixin_36370128的博客
01-04 353
声明：本章节摘自他人文章，链接为https://blog.csdn.net/dmy1115143060/article/details/82620715，尊重他人权益就是尊重自己。1、RangePartitioner原理简介 Spark引入RangePartitioner的目的是为了解决HashPartitioner所带来的分区倾斜问题，也即分区中包含的数据量不均衡问题。HashPartitio...
Ambari集成Apache Kyuubi实践
smileyboy2009的专栏
06-07 1277
集成Apache Kyuubi到HDP中，主要涉及Ambari的二次开发。标签内添加kyuubi相关配置项，包括kyuubi-defaults、kyuubi-env、kyuubi-log4j-properties、ranger-spark-audit、ranger-spark-security。该目录可存放，存放的是组件属性的配置信息，和配置目录下的配置对应，这个关系是如果我们在Ambari页面修改了属性信息，则修改信息会自动填充该目录下的文件的属性，所以，这个目录下的属性是最新的，并且是服务要调用。
普通用户使用spark的client无法更新Ranger策略
qq_43688472的博客
09-04 1128
2、设置用户列表，例如：user1,user2,user3…1、设置为通配符*，允许任何用户访问和下载策略文件。PS：admin 权限可以直接下载策略。查看官方的配置只支持2种写法。操作：（采用了官方配置1）
Submarine：在 Apache Hadoop 中运行深度学习框架
cpongo011702
05-20 351
作者： Wangda Tan \u0026amp; Sunil Govindan \u0026amp; Zhankun Tang(这篇博文由网易杭研的 刘勋 和 周全 协助编写).原文地址：https://hortonworks.com/blog/submarine-running-deep-learning-workloads-apache-hadoop/介绍Hadoop 是用于大型企业数据集的...
Spark3.3.2适配Hadoop3踩坑填坑
大数据，Linux，服务器，技术、架构，方案
06-16 1188
Spark 3.3.2是一个包含稳定性修复的维护版本。这个版本是基于Spark的3.3版本线最新维护分支。
*/5 * * * * root bash /data/script/clean-script/clean-ranger.sh >/data/script/clean-script/clean-ranger.log 2>&1
07-14
这是一个Cron表达式，它指定了在每小时的第五分钟执行一个特定的命令。具体来说，它是在每天的每个小时的第5分钟执行一次以下命令： `bash /data/script/clean-script/clean-ranger.sh >/data/script/clean-script/clean-ranger.log 2>&1` 这个命令会执行 `clean-ranger.sh` 脚本，并将输出重定向到 `clean-ranger.log` 文件中。`2>&1` 表示将标准错误（stderr）也重定向到标准输出（stdout）中。这样做可以将所有的输出信息都记录在 `clean-ranger.log` 文件中。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值