ranger的安裝和部署，org.apache.hadoop.ipc.RemoteException:Permission denied: user=jack, access=WRITE, inode

最新推荐文章于 2023-10-20 10:47:43 发布

m0_37759590

最新推荐文章于 2023-10-20 10:47:43 发布

阅读量471

点赞数

本文链接：https://blog.csdn.net/m0_37759590/article/details/130099926

版权

hive 同时被 3 个专栏收录

26 篇文章 0 订阅

订阅专栏

ranger

8 篇文章 0 订阅

订阅专栏

hdfs

1 篇文章 0 订阅

订阅专栏

2 Ranger的安装

2.1 环境准备
Ranger2.0要求对应的Hadoop为3.x以上，Hive为3.x以上版本，JDK为1.8以上版本！

2.2 安装RangerAdmin

2.2.1 数据库环境准备

在Mysql数据库中创建Ranger存储数据的数据库:

mysql> create database ranger;

创建用户:

mysql> grant all privileges on ranger.* to ranger@'%'  identified by 'ranger';

2.2.2 安装RangerAdmin
解压软件：
[atguigu@hadoop103 target]tar -zxvf ranger-2.0.0-admin.tar.gz -C /opt/module/ranger
进行配置：

[sarah@hadoop103 ranger-2.0.0-admin]$ vim install.properties

修改以下配置内容：

#mysql驱动
SQL_CONNECTOR_JAR=/opt/software/mysql-connector-java-5.1.27-bin.jar
#mysql的主机名和root用户的用户名密码
db_root_user=root
db_root_password=000000
db_host=hadoop103
#ranger需要的数据库名和用户信息，和2.2.1创建的信息要一一对应
db_name=ranger
db_user=ranger
db_password=ranger
#其他ranger admin需要的用户密码
rangerAdmin_password=atguigu123
rangerTagsync_password=atguigu123
rangerUsersync_password=atguigu123
keyadmin_password=atguigu123
#ranger存储审计日志的路径，默认为solr，这里为了方便暂不设置
audit_store=
#策略管理器的url,rangeradmin安装在哪台机器，主机名就为对应的主机名
policymgr_external_url=http://hadoop103:6080
#启动ranger admin进程的linux用户信息
unix_user=atguigu
unix_user_pwd=atguigu
unix_group=atguigu
#hadoop的配置文件目录
hadoop_conf=/opt/module/hadoop-3.1.3/etc/hadoop

之后切换到root用户，执行安装

[root@hadoop103 ranger-2.0.0-admin]# ./setup.sh

出现以下信息，说明安装完成

2020-04-30 13:58:18,051  [I] Ranger all admins default password change request processed successfully..
Installation of Ranger PolicyManager Web Application is completed.

创建ranger的配置文件软连接到web应用下：

[root@hadoop103 ranger-2.0.0-admin]# ./set_globals.sh 
usermod：无改变
[2020/04/30 13:58:47]:  [I] Soft linking /etc/ranger/admin/conf to ews/webapp/WEB-INF/classes/conf

2.2.3 启动RangerAdmin

配置RangerAdmin web应用的配置信息：

[root@hadoop103 ranger-2.0.0-admin]# cd /etc/ranger/admin/conf/

[root@hadoop103 conf]# vim ranger-admin-site.xml

<property>
      <name>ranger.jpa.jdbc.password</name>
      <value>ranger</value>
      <description />
</property>
<property>
       <name>ranger.service.host</name>
       <value>hadoop103</value>
</property>

启动：

[root@hadoop103 conf]# ranger-admin start
Starting Apache Ranger Admin Service
Apache Ranger Admin Service with pid 7058 has started.

ranger-admin在安装时已经配设置为开机自启动，因此之后无需再手动启动！

查看启动后的进程：

[root@hadoop103 ranger-2.0.0-usersync]# jps
7058 EmbeddedServer
8132 Jps

停止：

[root@hadoop103 conf]# ranger-admin stop

之后可以通过访问http://hadoop103:6080，如出现以下界面，说明ranger-admin启动完成！

2.2.4 登录管理员用户
默认可以使用用户名:admin,密码为之前配置的atguigu123进行登录！登录后界面如下：

第3章安装 RangerUsersync

3.1 RangerUsersync简介

RangerUsersync作为Ranger提供的一个管理模块，可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理！

3.2 RangerUsersync安装
解压软件：

[root@hadoop103 conf]# tar -zxvf /opt/software/apache-ranger-2.0.0/target/ranger-2.0.0-usersync.tar.gz -C /opt/module/ranger/

配置软件：

[root@hadoop103 ranger-2.0.0-usersync]# vim install.properties

修改以下配置信息：

#rangeradmin的url
POLICY_MGR_URL =http://hadoop103:6080
#同步间隔时间，单位(分钟)
SYNC_INTERVAL = 1
#运行此进程的linux用户
unix_user=atguigu
unix_group=atguigu
#rangerUserSync的用户密码，参考rangeradmin中install.properties的配置
rangerUsersync_password=atguigu123
#hadoop的配置文件目录
hadoop_conf=/opt/module/hadoop-3.1.3/etc/hadoop

使用root用户进行安装

[root@hadoop103 ranger-2.0.0-usersync]# ./setup.sh

出现以下信息，说明安装完成

ranger.usersync.policymgr.password has been successfully created.
Provider jceks://file/etc/ranger/usersync/conf/rangerusersync.jceks was updated.
[I] Successfully updated password of rangerusersync user

3.3 RangerUsersync启动
启动之前，在ranger admin的web-UI界面，查看用户信息如下：
在这里插入图片描述
使用root用户启动

[root@hadoop103 ranger-2.0.0-usersync]# ranger-usersync start
Starting Apache Ranger Usersync Service
Apache Ranger Usersync Service with pid 7510 has started.

启动后，再次查看用户信息：
在这里插入图片描述
说明ranger-usersync工作正常！
ranger-usersync服务也是开机自启动的，因此之后不需要手动启动！

第4章安装Ranger Hive-plugin

4.1 Ranger Hive-plugin简介

Ranger Hive-plugin是Ranger对hive进行权限管理的插件。Ranger Hive-plugin只能对使用jdbc方式访问hive的请求进行权限管理，hive-cli并不受限制！

4.2 Ranger Hive-plugin安装

解压软件：

[root@hadoop103 ranger-2.0.0-usersync]# tar -zxvf /opt/software/apache-ranger-2.0.0/target/ranger-2.0.0-hive-plugin.tar.gz -C /opt/module/ranger/

配置软件：

[root@hadoop103 ranger-2.0.0-hive-plugin]# vim install.properties

#策略管理器的url地址
POLICY_MGR_URL=http://hadoop103:6080
#组件名称可以自定义
REPOSITORY_NAME=hivedev
#hive的安装目录
COMPONENT_INSTALL_DIR_NAME=/opt/module/hive
#hive组件的启动用户
CUSTOM_USER=atguigu
#hive组件启动用户所属组
CUSTOM_GROUP=atguigu

将hive的配置文件作为软连接安装到Ranger Hive-plugin目录下：

[root@hadoop103 ranger-2.0.0-hive-plugin]# ln -s /opt/module/hive/conf/ conf

使用root用户启用Ranger Hive-plugin

[root@hadoop103 ranger-2.0.0-hive-plugin]# ./enable-hive-plugin.sh

之后需要重启hive才能生效！

4.3 在ranger admin上配置hive插件

4.4 测试连接hiveserver2

启动hiveserver2：

[atguigu@hadoop103 hive]$ hive --service metastore &
[atguigu@hadoop103 hive]$ hiveserver2

测试插件是否可以连接hiveserver2
出现以下提示说明连接成功！
在这里插入图片描述

第5章使用Ranger对Hive进行权限管理

5.1 权限控制初体验

查看默认的访问策略，此时只有admin用户拥有对所有库、表和函数的访问权限

在这里插入图片描述
验证：使用atguigu用户尝试进行登录，登录成功后，执行查询语句：

在这里插入图片描述
之后使用admin用户进行登录，可以完成Hive的所有操作

在这里插入图片描述

5.2 为用户配置权限

例如为atguigu用户配置default库emp和dept表的所有列的读权限，为jack用户配置default库emp和dept表的所有列的读写权限。
点击Add New Policy按钮：

在这里插入图片描述
填写策略名称，以及此策略设计的库、表、列等信息：

填写设计此策略的允许的用户权限：

之后点击Add添加按钮，发现在面板上已经添加完成：

测试：beeline无需重新连接hiveserver2，再次执行查询，发现atguigu用户已经可以进行查询，但是只能查询自己有权限查询的表信息
在这里插入图片描述
对以下两个表，有读权限，没有写权限：

再次测试jack用户，尝试向dept表写入数据后查询：

0: jdbc:hive2://hadoop103:10000> insert into table dept values(50,'SECURITY',1800);
0: jdbc:hive2://hadoop103:10000> select * from dept;

在这里插入图片描述

5.3 脱敏操作

通过脱敏操作可以限制用户对某一列的访问，将敏感数据不暴露给用户！

案例：指定atguigu用户在查询emp表时，对hiredate的年月部分脱敏！
首先需要保证用户对指定的列有访问权限，可以参考5.2进行配置！
点击Masing标签，再点击Add New Policy
在这里插入图片描述
指定表和列

在这里插入图片描述
指定用户和脱敏操作：

在这里插入图片描述
之后点击save按钮！那么只有atguigu用户在查询时，会触发此策略！

5.4 行级别过滤
通过行级别过滤可以将表中的数据进行条件过滤后再暴露给用户！
例如：atguigu用户只允许查询emp表中job类型为SALESMAN的用户信息。
同理，行级别过滤也要求用户对指定表有access权限！参考5.2的配置！
选择Row Level Filter标签，点击Add New Policy:
在这里插入图片描述
选择对应的库和表：

添加过滤规则和用户：

之后点击add按钮！
验证：

問題：
1.我有兩個用戶sarah，jack，給這個兩個用戶都設置了所有的權限，我現在想要驗證建表和插入是否可以成功：
使用jack用戶建表

CREATE EXTERNAL TABLE ods_log_inc3
(
    id int
) COMMENT '活动信息表'
    PARTITIONED BY (`dt` STRING)
    ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
    LOCATION '/tmp/ods_log_inc4';

可以成功
插入數據：

insert into ods_log_inc3 values (2,'1');

報錯誤：

org.apache.hadoop.ipc.RemoteException:Permission denied: user=jack, access=WRITE, inode="/tmp/ods_log_inc4":sarah:supergroup:drwxr-xr-x

解決辦法：將/tmp/ods_log_inc4的權限改為777

hdfs dfs -chmod  -R  777 /tmp/ods_log_inc4

再次驗證
在这里插入图片描述
成功執行！
這個bug卡了好久了

第6章安装Ranger hdfs-plugin

常規操作：
解壓到ranger目錄

[sarah@hadoop102 ranger]$ ll
total 16
drwxrwxr-x.  9 sarah sarah 4096 Apr  8 02:10 ranger-2.0.0-admin
drwxrwxr-x.  4 sarah sarah 4096 Apr 11 21:08 ranger-2.0.0-hdfs-plugin
drwxr-xr-x.  4 sarah sarah 4096 Apr 10 01:27 ranger-2.0.0-hive-plugin
drwxr-xr-x. 10 sarah sarah 4096 Apr  8 05:30 ranger-2.0.0-usersync

修改配置文件：

[sarah@hadoop102 ranger-2.0.0-hdfs-plugin]$ vim install.properties
POLICY_MGR_URL=http://mycluster:6080
REPOSITORY_NAME=hdfsenv
COMPONENT_INSTALL_DIR_NAME=/opt/module/hadoop
CUSTOM_USER=sarah
CUSTOM_GROUP=sarah

在root下啓動：

[root@hadoop102 ranger-2.0.0-hdfs-plugin]# ./enable-hdfs-plugin.sh

將ranger-2.0.0-hdfs-plugin進行分發，規則是由幾個namenode，就分發幾份

不然會報bug：Class org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer not found

m0_37759590

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
ranger的安裝和部署，org.apache.hadoop.ipc.RemoteException:Permission denied: user=jack, access=WRITE, inode

ranger的安裝和部署，org.apache.hadoop.ipc.RemoteException:Permission denied: user=jack, access=WRITE, inode
复制链接

扫一扫