为相关服务启用Sentry

最新推荐文章于 2023-07-27 16:02:16 发布
最新推荐文章于 2023-07-27 16:02:16 发布
阅读量395 收藏 1
点赞数 1
文章标签： cloudera 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39841823/article/details/113869814
版权

趁我未失忆之前，记录过去曾经的自己

本文讯息来自与Configuring the Sentry Service

文章目录

前言

在安裝Sentry Service之前先要设置hive目录权限。注意：在启用HDFS / Sentry同步後，无需在Hive仓库目录上显式设置权限。启用同步后，所有 Hive 数据库和表在HDFS底层文件系统上都归属 hive : hive 。Sentry 会把表的权限自动转换为 HDFS 底层文件的 ACL。

  1. 使用默认的Hive仓库目录
#設置權限 默认路径为/user/hive/warehouse ，如果不知道去hive-site.xml查
sudo -u hdfs hdfs dfs -chmod -R 771 /user/hive/warehouse
#所有文件和子目录的用户属组应该为 hive:hive
sudo -u hdfs hdfs dfs -chown -R hive:hive /user/hive/warehouse
  1. 安装Kerberos 在你的集群时，必须先kinit在设置权限
#kinit hdfs
sudo -u hdfs kinit -kt hdfs.keytab hdfs
#設置權限 默认路径为/user/hive/warehouse ，如果不知道去hive-site.xml查
sudo -u hdfs hdfs dfs -chmod -R 771 /user/hive/warehouse
#所有文件和子目录的用户属组应该为 hive:hive
sudo -u hdfs hdfs dfs -chown -R hive:hive /user/hive/warehouse
  1. 使用非默认的Hive仓库目录
#kinit hdfs
sudo -u hdfs kinit -kt hdfs.keytab hdfs
#設置權限 默认路径为/user/hive/warehouse ，如果不知道去hive-site.xml查
sudo -u hdfs hdfs dfs -chmod -R 771 /user/hive/warehouse
#所有文件和子目录的用户属组应该为 hive:hive
sudo -u hdfs hdfs dfs -chown -R hive:hive /user/hive/warehouse

注意:
更改Hive仓库默认路径不会移动现有表的数据。在修改默认路径之前的任何数据都会保留在默认位置/user/hive/warehouse，创建新表则会保存在新路径下。

  1. 为了使Sentry / HDFS同步正常工作，将新的仓库URL添加到Sentry同步路径前缀列表中。
    注意:
    在hive-site.xml中将hive.warehouse.subdir.inherit.perms设置为true，以便在 warehouse 目录上设置的权限可以集成到子目录。
    如果用户有权访问warehouse中的任何对象，该用户将能够执行使用默认设置。这样可以确保启用Sentry后，由旧版应用程序发出的使用默认命令可以正常工作。
    在Hive warehouse目录上修改权限（如上所述）将覆盖CDH 5安装指南的Hive部分中的建议。

  2. 禁用HiveServer2的模拟。HiveServer2模拟允许用户作为连接用户而不是超级用户执行查询和访问HDFS文件。访问策略使用基于HDFS ACL 应用于 HDFS 文件。启用 HiveServer2 模拟会绕过 Sentry 的端到端授权过程。具体来说，如果启用了Hive模拟，虽然Sentry对Hive仓库中的表和视图的权限，但是却没办法控制底层HDFS文件的访问，这意味着，对Hive仓库中的表没有Sentry权限的用户仍然可以绕过Sentry授权检查并对仓库中的表执行作业和查询，只要他们对支持该表的HDFS文件具有权限即可。使用以下方式禁用Hive的用户模拟:
    1.进入Hive 管理页面
    2.点击Configuration 标签
    3.选取Scope > HiveServer2
    4.选取Category > Main.或是在搜寻框打上 HiveServer2 Enable Impersonation.
    5.将HiveServer2 Enable Impersonation勾勾取消.
    6.保存更改并重启相关服务。
    在这里插入图片描述

  3. 如果使用的是YARN，请启用Hive用户提交YARN作业。
    1.进入YARN管理页面
    2.点击Configuration 标签.
    3.点选Scope > NodeManager.
    4.在搜索框上打上allowed.system.users
    5.确保 Allowed System Users 属性包含 hive. 如果没, 增加 hive.
    6.保存更改并重启相关服务。
    注意:
    如果你有多组NodeManager，需要保证每组NodeManager的该配置都包含了hive用户。
    在这里插入图片描述

  4. 阻止外部应用程序访问Hive Metastore。
    1.进入Hive 管理页面
    2.点击Configuration 标签
    3.搜寻框上打上hadoop.proxyuser.hive.groups找到Hive Metastore Access Control and Proxy User Groups Override.然后单击加号
    4.添加hive,hue和sentry用户
    5.保存更改并重启相关服务。
    注意:设置此参数会阻止对非服务用户访问Hive Metastore。这可以禁止Hive CLI，Spark和Sqoop应用程序与Hive服务的交互。该配置不影响这些应用程序的运行，但是它们无法再访问Hive Metastore，并且所有Hive查询都将失败。运行Hive CLI，Spark和Sqoop的用户必须是hive，hue或sentry用户，或者属于这3个group，你也可以将其他用户组增加到上面配置的代理用户列表中。
    在这里插入图片描述

以下就是在各个服务下启用Sentry

一、为Hive服务启用Sentry

1.进入Hive 管理页面
2.点击Configuration 标签
3.搜索框打上sentry
4.在Sentry Service属性中选择Sentry

在这里插入图片描述
5.搜索框打上Enable Stored Notifications in Database将Hive Metastore Server Default Group 选项打勾。
在这里插入图片描述

6.保存更改并重启相关服务。
注意:启用Sentry on Hive 服务将几个HiveServer2属性放在受限列表属性上，客户端无法在运行时对其进行修改。 请参阅HiveServer2受限属性。 HiveServer2 Restricted Properties

二、为Impala服务启用Sentry

1.进入Impala 管理页面
2.点击Configuration 标签
3.搜索框打上sentry
4.在Sentry Service属性中选择Sentry
5.保存更改并重启相关服务。
在这里插入图片描述

三、配置HDFS开启ACLs与Sentry权限同步

1.进入HDFS管理页面
2.点击Configuration 标签
3.搜索框打上acl
4.将Enable Access Control Lists和Enable Sentry Synchronization选项打勾。将启用访问控制列表和Sentry同步 服务。
5.保存更改并重启相关服务。
在这里插入图片描述

四、为Hue服务启用Sentry

Hue中集成了一个安全模块用来界面化操作Sentry。设置Hue以管理Sentry权限时，请确保正确设置了用户和组。连接到Sentry的每个Hue用户必须与服务器操作系统（OS）中的用户相同，以便Sentry可以对Hue用户进行身份验证。Hue中的用户group也同样要与本地操作系统（OS）中的用户group相同。
有关使用“安全模块”的更多信息，请参阅Hue安全性。
1.进入Hue管理页面
2.点击Configuration 标签
3.搜索框打上Sentry Service，在Sentry Service选项勾选Sentry
4.保存更改并重启相关服务。
在这里插入图片描述

五、将Hive，Spark和Hue组添加到Sentry的管理组

1.进入Sentry 管理页面
2.点击Configuration 标签
3.搜索框打上Admin Groups，在Sentry Service增加 hive, spark, 和hue 添加到列表中。如果end user属于这些管理组之一，则该用户在Sentry Server上具有管理特权。
4.保存更改并重启相关服务。

在这里插入图片描述

六、HiveServer2受限制的属性

Hive启用Sentry后会导致HiveServer2的部分属性无法在客户端运行时进行修改。此列表由hive.conf.restricted.list表示，并且这些属性只能在服务器端进行配置。 具体受限制的属性参数如下，当然你依旧可以在HiveServer2服务端进行参数修改。该列表包括：

hive.enable.spark.execution.engine
hive.semantic.analyzer.hook
hive.exec.pre.hooks
hive.exec.scratchdir
hive.exec.local.scratchdir
hive.metastore.uris,
javax.jdo.option.ConnectionURL
hadoop.bin.path
hive.session.id
hive.aux.jars.path
hive.stats.dbconnectionstring
hive.scratch.dir.permission
hive.security.command.whitelist
hive.security.authorization.task.factory
hive.entity.capture.transform
hive.access.conf.url
hive.sentry.conf.url
hive.access.subject.name
hive.sentry.subject.name
hive.sentry.active.role.set

七、保护Hive Metastore

保护Hive Metastore是非常重要的。如果你的集群没有启用Kerberos，请将sentry.hive.testing.mode属性设置为true，以允许Sentry使用较弱的身份验证机制。将以下属性添加到HiveServer2和Hive Metastore的sentry-site.xml中：

<property>
  <name>sentry.hive.testing.mode</name>
  <value>true</value>
</property>

在这里插入图片描述

八、在HiveServer2中使用UDF（User-Defined Functions）

当Beeline在其他主机上运行时，ADD JAR命令不适用于HiveServer2和Beeline客户端。Hive’s auxiliary paths 就是替代ADD JAR命令功能。也是说，在加载jar包时只能通过在Hive服务中配置hive.reloadable.aux.jars.path路径。当Sentry 被启用，创建永久函数和临时函数的过程存在一些差异。有关详细说明，请参阅：Registering a UDF in Hive
或
Creating Temporary Functions

914 JJ
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH启用 sentry
老鼬的博客
07-18 2985
CDH启用sentryCDH集群启用sentry步骤和测试。CDH启用sentryCDH中添加sentry服务后，按照Configuring the Sentry Service一步步进行来配置sentry服务。Before Enabling the Sentry Service 设置 hive.metastore.warehouse.dir 配置项(默认路径是/user/hive/warehous
cdh集群sentry 启用HA
wflh323的专栏
08-09 805
cdh集群sentry主用用来进行hive数据权限认证，sentry服务失败后会影响访问hive库的任务。sentry ha的功能是在cdh5.13之后才有的。 开启sentry HA 1. 进入sentry 操作，选择启用HA 2. 选择主机安装另一个sentry实例 3.根据向导，执行完成 ...
搭建 Sentry 服务
呜呼哈
09-17 1506
CentOS7 部署 Sentry 服务
sentry 如何部署？
_
02-02 786
Sentry 是一个实时事件日志记录和汇集的平台。其专注于错误监控以及提取一切事后处理所需信息而不依赖于麻烦的用户反馈。它分为客户端和服务端，客户端(目前客户端有Python, PHP,C#, Ruby等多种语言)就嵌入在你的应用程序中间，程序出现异常就向服务端发送消息，服务端将消息记录到数据库中并提供一个web页方便查看。 Sentry由python编写，源码开放，性能卓越，易于扩展，目前著名的用户有Disqus, Path, mozilla, Pinterest等。 以下通过 docker 安装 s
六步运行一个 sentry 实例
dilunzhuang0924的博客
07-05 210
# 6步, https://hub.docker.com/_/sentry/ # 依赖Redisdocker run -d --name sentry-redis redis:3.2.12 # 依赖postgresdocker run -d --name sentry-postgres -e POSTGRES_PASSWORD=secret -e POSTGRES_USER=s...
0439-Hive启用Sentry后如何限制用户提交Yarn资源池
01-07
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： ...提示：代码块部分可以左右滑动查看噢 1.文档编写目的 在前面Fayson介绍了《如何使用Cloudera ...
sentry-android-gradle-plugin：Sentry Android的Gradle插件。 上载proguard，调试文件等
02-04
Sentry Android的Gradle插件是Android开发者用于集成错误跟踪服务Sentry的重要工具，它极大地简化了在构建过程中上传混淆规则（Proguard）和调试信息到Sentry的过程。在这个插件的帮助下，开发团队能够更有效地诊断...
sentry-wxwork:Sentry插件，允许通过微信工作发送通知和SSO登录
05-24
在（旧版）集成页面上，找到WeChat Work ，启用并配置它。 SSO登录 将以下设置添加到您的sentry.conf.py ： WXWORK_CORP_ID = '' WXWORK_SECRET = '' WXWORK_AGENT_ID = '' 或者，如果您更喜欢通过环境变量进行...
安全管理sentry+kerberos
12-15
2. **启用Sentry服务**：配置Hive使用Sentry服务，以进行权限验证。 3. **关闭用户模拟**：关闭Hive的用户模拟功能，确保权限管理的有效性。 **Kerberos安全认证** 1. **Kerberos介绍**：Kerberos是一种网络授权...
sentry记录前端报错，也可主动发送消息
最新发布
ApologizeError的博客
07-27 888
sentry记录前端报错，也可主动发送消息。以上方法引入后，js报错就会被记录。
前端异常监控平台Sentry安装配置使用及问题
king2wang的博客
01-30 3409
异常监控平台Sentry安装使用说明
SparkSQL集成sentry权限认证
星星木有夜
11-05 1986
0、SparkSQL要集成sentry权限认证要解决下面几个问题： 1、从hive认证hook中找到sentry认证方法，并将认证代码提取出来 2、从spark sql的逻辑计划中提取sentry认证方法所需的参数 3、通过spark sql extensions将认证添加到spark sql的执行过程中 1、提取sentry认证方法 从sentry源代码中逐步查看hive hook的代码，终于找...
Sentry For Vue 完整接入详解(2021 Sentry v21.8.x)前方高能预警！三万字，慎入！
o__cc的博客
09-07 4507
内容源于：https://docs.sentry.io/platforms/javascript/guides/vue/ 系列 1 分钟快速使用 Docker 上手最新版 Sentry-CLI - 创建版本 快速使用 Docker 上手 Sentry-CLI - 30 秒上手 Source Maps Sentry For React 完整接入详解 脑图 公众号：黑客下午茶 快速开始 S...
Docker-compose方式启动Sentry +ldap登录验证
惊云
05-07 1663
Docker-compose方式启动Sentry +ldap登录验证 一，安装Docker sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo yum-config-manager --enable docker-ce-edge yum -y install docker-ce systemctl start docke
Sentry ： Spark-sql 读取hive数据 权限问题
jast
08-12 3077
经测试Spark-sql 只支持Sentry表、库权限，不支持Sentry 对Hive列权限读的控制，设置列权限读，Spark-sql是无权限读取的 对hive表某一列有读权限设置 代码如下，jast_column用户有对hive表test的s2列读权限，这里使用spark1.6举例 val conf = new SparkConf().setAppName("test") va...
sentry服务后，几个权限问题
空中的鱼
07-13 7476
以账户bi为例 问题一：账户bi beeline ldap后，对于外联表需要外联/user/bi目录下的数据。 解决： 根据sentry文档，需要给/user/bi授权uri ALL权限。 GRANT ALL ON URI 'hdfs://172.20.0.71:8020/user/bi' TO ROLE user_bi_all_role;解决之 问题二：账户bi运行mapreduce需要读取
Sentry 权限模型之授权策略SQL
帆了个帆的专栏
10-31 5168
接上一篇hive 集成sentry继续来看下sentry的授权体系 使用hive用户登陆,在这个hive用户是在$HIVE_HOME/conf/sentry-site.xml中配置， &lt;property&gt; &lt;name&gt;sentry.metastore.service.users&lt;/name&gt; &lt;value&gt;hive&lt;/val...
Sentry的用户反馈管理
lc的大脑备份
10-17 1176
Sentry提供了在遇到错误时收集用户的其他反馈的功能。这通常在您通常可以呈现纯错误页面（经典500.html）的情况下非常有用。为了收集反馈，我们提供了一个可嵌入的JavaScript小部件，然后可以根据需要向用户显示。 请求并收集以下信息： 用户名 用户的电子邮件地址 发生了什么的描述 收集反馈后，Sentry会将其与原始活动配对，为您提供有关问题的更多见解。 一、收集反馈 集成过...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值