【大数据】Ranger-2.3.0 Hive插件安装

已于 2023-02-21 15:07:56 修改
阅读量674 收藏 1
点赞数
分类专栏： 数据结构与算法 Spark 大数据 文章标签： hive hadoop 数据仓库 Ranger 大数据权限
于 2023-01-28 10:15:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013412066/article/details/128775384
版权

组件规划

clusterhostnameip机型组件
abc-clusterspark-3110.253.128.31armRanger-admin
spark-3210.253.128.32mysql
spark-3310.253.128.33hivemetastore/ hiveserver2

HIVE 插件安装

解压
tar -xvzf ranger-2.3.0-hdfs-plugin.tar.gz
修改配置
cd ranger-2.3.0-hive-plugin/

vim install.properties

POLICY_MGR_URL=http://10.253.128.31:6080

#
# This is the repository name created within policy manager
#
# Example:
# REPOSITORY_NAME=hivedev
#
REPOSITORY_NAME=hive_repo

#
# Hive installation directory
#
# Example:
# COMPONENT_INSTALL_DIR_NAME=/var/local/apache-hive-2.1.0-bin
#
COMPONENT_INSTALL_DIR_NAME=/data/apps/hive-3.1.2

# AUDIT configuration with V3 properties

# Enable audit logs to Solr
#Example
#XAAUDIT.SOLR.ENABLE=true
#XAAUDIT.SOLR.URL=http://localhost:6083/solr/ranger_audits
#XAAUDIT.SOLR.ZOOKEEPER=
#XAAUDIT.SOLR.FILE_SPOOL_DIR=/var/log/hive/audit/solr/spool

XAAUDIT.SOLR.ENABLE=false
XAAUDIT.SOLR.URL=NONE
XAAUDIT.SOLR.USER=NONE
XAAUDIT.SOLR.PASSWORD=NONE
XAAUDIT.SOLR.ZOOKEEPER=NONE
XAAUDIT.SOLR.FILE_SPOOL_DIR=/var/log/hive/audit/solr/spool

# Enable audit logs to ElasticSearch
#Example
#XAAUDIT.ELASTICSEARCH.ENABLE=true
#XAAUDIT.ELASTICSEARCH.URL=localhost
#XAAUDIT.ELASTICSEARCH.INDEX=audit

XAAUDIT.ELASTICSEARCH.ENABLE=false
XAAUDIT.ELASTICSEARCH.URL=NONE
XAAUDIT.ELASTICSEARCH.USER=NONE
XAAUDIT.ELASTICSEARCH.PASSWORD=NONE
XAAUDIT.ELASTICSEARCH.INDEX=NONE
XAAUDIT.ELASTICSEARCH.PORT=NONE
XAAUDIT.ELASTICSEARCH.PROTOCOL=NONE

# Enable audit logs to HDFS
#Example
#XAAUDIT.HDFS.ENABLE=true
#XAAUDIT.HDFS.HDFS_DIR=hdfs://node-1.example.com:8020/ranger/audit
#  If using Azure Blob Storage
#XAAUDIT.HDFS.HDFS_DIR=wasb[s]://<containername>@<accountname>.blob.core.windows.net/<path>
#XAAUDIT.HDFS.HDFS_DIR=wasb://ranger_audit_container@my-azure-account.blob.core.windows.net/ranger/audit
#XAAUDIT.HDFS.FILE_SPOOL_DIR=/var/log/hive/audit/hdfs/spool

XAAUDIT.HDFS.ENABLE=false
XAAUDIT.HDFS.HDFS_DIR=hdfs://__REPLACE__NAME_NODE_HOST:8020/ranger/audit
XAAUDIT.HDFS.FILE_SPOOL_DIR=/var/log/hive/audit/hdfs/spool

# Following additional propertis are needed When auditing to Azure Blob Storage via HDFS
# Get these values from your /etc/hadoop/conf/core-site.xml
#XAAUDIT.HDFS.HDFS_DIR=wasb[s]://<containername>@<accountname>.blob.core.windows.net/<path>
XAAUDIT.HDFS.AZURE_ACCOUNTNAME=__REPLACE_AZURE_ACCOUNT_NAME
XAAUDIT.HDFS.AZURE_ACCOUNTKEY=__REPLACE_AZURE_ACCOUNT_KEY
XAAUDIT.HDFS.AZURE_SHELL_KEY_PROVIDER=__REPLACE_AZURE_SHELL_KEY_PROVIDER
XAAUDIT.HDFS.AZURE_ACCOUNTKEY_PROVIDER=__REPLACE_AZURE_ACCOUNT_KEY_PROVIDER

#Log4j Audit Provider
XAAUDIT.LOG4J.ENABLE=false
XAAUDIT.LOG4J.IS_ASYNC=false
XAAUDIT.LOG4J.ASYNC.MAX.QUEUE.SIZE=10240
XAAUDIT.LOG4J.ASYNC.MAX.FLUSH.INTERVAL.MS=30000
XAAUDIT.LOG4J.DESTINATION.LOG4J=true
XAAUDIT.LOG4J.DESTINATION.LOG4J.LOGGER=xaaudit

# Enable audit logs to Amazon CloudWatch Logs
#Example
#XAAUDIT.AMAZON_CLOUDWATCH.ENABLE=true
#XAAUDIT.AMAZON_CLOUDWATCH.LOG_GROUP=ranger_audits
#XAAUDIT.AMAZON_CLOUDWATCH.LOG_STREAM={instance_id}
#XAAUDIT.AMAZON_CLOUDWATCH.FILE_SPOOL_DIR=/var/log/hive/audit/amazon_cloudwatch/spool

XAAUDIT.AMAZON_CLOUDWATCH.ENABLE=false
XAAUDIT.AMAZON_CLOUDWATCH.LOG_GROUP=NONE
XAAUDIT.AMAZON_CLOUDWATCH.LOG_STREAM_PREFIX=NONE
XAAUDIT.AMAZON_CLOUDWATCH.FILE_SPOOL_DIR=NONE
XAAUDIT.AMAZON_CLOUDWATCH.REGION=NONE

# End of V3 properties


#
#  Audit to HDFS Configuration
#
# If XAAUDIT.HDFS.IS_ENABLED is set to true, please replace tokens
# that start with __REPLACE__ with appropriate values
#  XAAUDIT.HDFS.IS_ENABLED=true
#  XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://__REPLACE__NAME_NODE_HOST:8020/ranger/audit/%app-type%/%time:yyyyMMdd%
#  XAAUDIT.HDFS.LOCAL_BUFFER_DIRECTORY=__REPLACE__LOG_DIR/hive/audit/%app-type%
#  XAAUDIT.HDFS.LOCAL_ARCHIVE_DIRECTORY=__REPLACE__LOG_DIR/hive/audit/archive/%app-type%
#
# Example:
#  XAAUDIT.HDFS.IS_ENABLED=true
#  XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://namenode.example.com:8020/ranger/audit/%app-type%/%time:yyyyMMdd%
#  XAAUDIT.HDFS.LOCAL_BUFFER_DIRECTORY=/var/log/hive/audit/%app-type%
#  XAAUDIT.HDFS.LOCAL_ARCHIVE_DIRECTORY=/var/log/hive/audit/archive/%app-type%
#
XAAUDIT.HDFS.IS_ENABLED=false
XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://__REPLACE__NAME_NODE_HOST:8020/ranger/audit/%app-type%/%time:yyyyMMdd%
XAAUDIT.HDFS.LOCAL_BUFFER_DIRECTORY=__REPLACE__LOG_DIR/hive/audit/%app-type%
XAAUDIT.HDFS.LOCAL_ARCHIVE_DIRECTORY=__REPLACE__LOG_DIR/hive/audit/archive/%app-type%

XAAUDIT.HDFS.DESTINTATION_FILE=%hostname%-audit.log
XAAUDIT.HDFS.DESTINTATION_FLUSH_INTERVAL_SECONDS=900
XAAUDIT.HDFS.DESTINTATION_ROLLOVER_INTERVAL_SECONDS=86400
XAAUDIT.HDFS.DESTINTATION_OPEN_RETRY_INTERVAL_SECONDS=60
XAAUDIT.HDFS.LOCAL_BUFFER_FILE=%time:yyyyMMdd-HHmm.ss%.log
XAAUDIT.HDFS.LOCAL_BUFFER_FLUSH_INTERVAL_SECONDS=60
XAAUDIT.HDFS.LOCAL_BUFFER_ROLLOVER_INTERVAL_SECONDS=600
XAAUDIT.HDFS.LOCAL_ARCHIVE_MAX_FILE_COUNT=10

#Solr Audit Provider
XAAUDIT.SOLR.IS_ENABLED=false
XAAUDIT.SOLR.MAX_QUEUE_SIZE=1
XAAUDIT.SOLR.MAX_FLUSH_INTERVAL_MS=1000
XAAUDIT.SOLR.SOLR_URL=http://localhost:6083/solr/ranger_audits

# End of V2 properties

#
# SSL Client Certificate Information
#
# Example:
# SSL_KEYSTORE_FILE_PATH=/etc/hive/conf/ranger-plugin-keystore.jks
# SSL_KEYSTORE_PASSWORD=none
# SSL_TRUSTSTORE_FILE_PATH=/etc/hive/conf/ranger-plugin-truststore.jks
# SSL_TRUSTSTORE_PASSWORD=none
#
# You do not need use SSL between agent and security admin tool, please leave these sample value as it is.
#
SSL_KEYSTORE_FILE_PATH=/etc/hive/conf/ranger-plugin-keystore.jks
SSL_KEYSTORE_PASSWORD=myKeyFilePassword
SSL_TRUSTSTORE_FILE_PATH=/etc/hive/conf/ranger-plugin-truststore.jks
SSL_TRUSTSTORE_PASSWORD=changeit

#
# Should Hive GRANT/REVOKE update XA policies?
#
# Example:
#     UPDATE_XAPOLICIES_ON_GRANT_REVOKE=true
#     UPDATE_XAPOLICIES_ON_GRANT_REVOKE=false
#
UPDATE_XAPOLICIES_ON_GRANT_REVOKE=true

#
# Custom component user
# CUSTOM_COMPONENT_USER=<custom-user>
# keep blank if component user is default
CUSTOM_USER=root


#
# Custom component group
# CUSTOM_COMPONENT_GROUP=<custom-group>
# keep blank if component group is default
CUSTOM_GROUP=root

因为 hive 机器不在当前 ranger 机器上，所以需要手动 创建 COMPONENT_INSTALL_DIR_NAME=/data/apps/hive-3.1.2 指定的目录

mkdir -p /data/apps/hive-3.1.2/conf
安装插件
./enable-hive-plugin.sh
重启Ranger服务
ranger-admin restart
复制 enable-hive-plugin.sh 生成的hive的jar包和配置
scp -r /data/apps/ranger-2.3.0-hive-plugin/lib/ranger-hive-plugin-impl spark-33:/data/apps/hive-3.1.3/lib/

scp -r /data/apps/ranger-2.3.0-hive-plugin/lib/ranger-hive-plugin-shim-2.3.0.jar spark-33:/data/apps/hive-3.1.3/lib/

scp -r /data/apps/ranger-2.3.0-hive-plugin/lib/ranger-plugin-classloader-2.3.0.jar spark-33:/data/apps/hive-3.1.3/lib/

scp -r /data/apps/ranger-2.3.0-hive-plugin/conf/* spark-33:/data/apps/hive-3.1.3/conf/
重启 hive 组件
ssh spark-33

bin/hive --service metastore &

bin/hive --service hiveserver2 &
在Ranger管理界面配置hive策略

在这里插入图片描述
在这里插入图片描述

Service Name: hive_repo
jdbc.driverClassName: org.apache.hive.jdbc.HiveDriver
jdbc.url: jdbc:hive2://10.253.128.33:10000/default

hiveserver2拉取的策略缓存目录

cat /etc/ranger/hive_repo/policycache/

至此，hive-ranger插件安装完成

希望对正在查看文章的您有所帮助，记得关注、评论、收藏，谢谢您

笑起来贼好看
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ranger-2.0.0-hive-plugin.tar.gz
06-04
由于很多文章都是只有ranger的安装说明，却没有编译后的tar包，而且编译的时间有点长，编译期间会出现各种问题，导致编译不过，特此上传编译后的包，来提供大家下载
[Bigdata]Ranger权限管理(用户认证kerberos)
红尘道，红尘练心
03-25 2489
UI界面：http://192.168.101.179:6080 （admin/bigdata123）组件进程名启动命令UnixAuthenticationService(root用户可见)ranger-usersync start/stop/restart(root用户下启动)Hive Plugin启动命令：至此完成了一下功能通过ranger来对hiveserver2的权限进行验证usersync组件定时同步LDAP的hive用户到Ranger中。
HIVE3.1.3+ZK+Kerberos+Ranger2.4.0高可用集群部署
最新发布
snipercai的博客
05-22 933
HIVE3.1.3+ZK+Kerberos+Ranger高可用集群部署
权限管理-Ranger的介绍和使用(集成Hive)
迷雾总会解
06-15 5727
Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架，它可以为整个Hadoop生态系统提供全面的安全管理。随着企业业务的拓展，企业可能在多用户环境中运行多个工作任务，这就需要一个可以对安全策略进行集中管理，配置和监控用户访问的框架。Ranger由此产生！Ranger的官网：https://ranger.apache.org/RangerUsersync作为Ranger提供的一个管理模块，可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理。
ranger2.1.0源码编译以及安装
qq_39381847的博客
07-24 562
【代码】ranger2.1.0源码编译以及安装。
自定义Ranger插件 Zeppelin集成Ranger方案 （非LDAP模式）
EdwardWang_的博客
04-23 1787
目录 序： 一、Zeppelin权限部分分析 1、zeppelin-note权限分析 2、zeppelin-shiro权限分析 二、shiro权限原理分析及Ranger原理分析 1、shiro认证授权原理 2、Ranger认证授权原理 三、自定义Ranger插件 1、编写shiroService 2、编写资源json文件 3、编写Ranger授权类 四、自定义Shiro拦截器（RangerFilter） 五、测试 序： 最近项目需求要用Ranger把Zeppelin管...
ranger-2.1.0-hive-plugin.tar.gz
08-09
2. **下载与解压**：获取 `ranger-2.1.0-hive-plugin.tar.gz` 压缩包并解压，将解压后的文件复制到 Hive 安装目录的相应插件目录下。 3. **配置 Ranger**：在 Ranger 管理界面中创建新的 Hive 服务实例，指定 Hive ...
apache-atlas-2.3.0-hive-hook.tar.gz
11-03
apache-atlas-2.3.0-hive-hook.tar.gz Apache Atlas 框架是一组可扩展的核心基础治理服务，使企业能够有效且高效地满足 Hadoop 内的合规性要求，并允许与整个企业数据生态系统集成。这将通过使用规范和取证模型、...
ranger-2.3.0-hdfs-plugin.tar.gz
12-20
ranger-2.3.0-hdfs-plugin.tar.gz, source from https://github.com/zer0beat/apache-ranger-compiled/releases
ranger-2.2.0-usersync.tar.gz
04-22
1. **安装和部署**：解压 "ranger-2.2.0-usersync" 压缩包，然后按照官方文档的指示在服务器上安装和配置用户同步组件。 2. **配置 LDAP/AD 连接**：在配置文件中设置 LDAP 或 AD 服务器的连接参数，如主机名、端口...
Ranger配置hive 插件报错解决Permission denied: user=rangerlookup, access=READ_EXECUTE, inode=“/“
iisbeginner的博客
12-01 330
​ 日志可以看出是Ranger配置没有问题，是下载策略没有权限。​ 期间尝试重启，换版本都未解决。授权下载策略用户为hive。
【大数据】Ranger-2.3.0 安装
如切如磋，如琢如磨，臻于至善。
01-28 1374
Apache Ranger来源于2013年成立于美国加利福尼亚的XA Secure公司，它是一个Hadoop安全相关的开源组件。在2014年，Hortonworks收购了XA Secure公司，将其贡献给了Apache软件基金会，目前是Apache的顶级开源项目。
【大数据】Ranger-2.3.0 编译及报错解决
如切如磋，如琢如磨，臻于至善。
01-28 1450
Apache Ranger来源于2013年成立于美国加利福尼亚的XA Secure公司，它是一个Hadoop安全相关的开源组件。在2014年，Hortonworks收购了XA Secure公司，将其贡献给了Apache软件基金会，目前是Apache的顶级开源项目。 Ranger编译、部署
Apache Ranger入门与进阶使用
qq_41463207的博客
04-02 2932
ranger是hadoop生态中的权限管理和用户审计插件，ranger丰富的插件数量让它的使用非常广泛，但是苦于官方文档非常少，学习起来就非常麻烦。本篇博客是取各文档之精华所做的，相信你完成的看完后对于ranger会有更多的理解
ranger安装
小船的专栏
12-21 1310
下载 $ wget https://github.com/apache/ranger/archive/release-ranger-2.0.0.tar.gz 解压缩 $ tar zxvf release-ranger-2.0.0.tar.gz -C /opt/module/ 编译 $ mvn clean compile package assembly:assembly install -Ds...
Ranger (四) --------- 安装 Ranger Hive-plugin
在森林里麋了鹿
11-03 1465
安装 Ranger Hive-plugin
【中危】Apache Ranger 2.3.0 存在远程代码执行漏洞
murphysec的博客
05-24 780
Apache Ranger 是一款用于在 Hadoop 平台及其他平台启用、监控和管理全面的数据安全性的开源框架。Apache Ranger 表达式策略是一种动态访问控制策略，通过自定义表达式来指定更细粒度的访问控制条件。 Apache Ranger 受影响版本中具有管理员权限或策略管理员权限的用户可通过创建具有恶意代码的表达式策略来执行任意代码。 攻击者在管理员控制台->服务管理页面->策略创建页面中，输入包含恶意代码的表达式并创建，其中分配的用户可通过该策略执行任意代码。
开源大数据集群部署（十三）Ranger 集成Trino
02-29 1035
作者：櫰木。
Trino升级和二次改造
qq_40616823的博客
06-01 2916
prestosql350升级到trino最新版本381以及对trino源码和ranger源码适配化改造
ranger-2.1.0-admin
11-22
ranger-2.1.0-admin 是一个用于 Apache Ranger 的版本为 2.1.0 的管理工具。Apache Ranger是一个开源的、跨平台的访问控制框架，旨在帮助企业管理和保护其大数据平台。 ranger-2.1.0-admin 工具提供了一组管理命令...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

笑起来贼好看

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值