一、Ranger概述
Ranger是一个用来在Hadoop平台上进行监控,启用服务,以及全方位数据安全访问管理的安全框架。
Ranger的官网:https://ranger.apache.org/
二、编译环境准备
Ranger2.2.0要求对应的Hadoop为3.x以上,Hive为3.x以上版本,JDK为1.8以上版本
1、安装Java运行环境
太简单省略
2、安装Mysql数据库
2.1 下载mysql
添加mysql yum源仓库
yum -y install http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm
注:有时yum安装可能提示以下错误(由于Mysql的GPG升级了,需要重新获取):
Failing package is: mysql-community-libs-compat-5.7.37-1.el7.x86_64 GPG Keys are configured as: file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysq
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
查看mysql安装版本
yum repolist enabled | grep "mysql.*-community.*"
2.2 安装mysql
yum install -y mysql-community-server
2.3 启动mysql
systemctl start mysqld
设置开机启动
systemctl enable mysqld
查看mysql默认密码
grep 'temporary password' /var/log/mysqld.log
2.4 登录mysql
输入mysqld.log的密码
mysql -uroot -p
修改密码复杂度策略
set global validate_password_policy=0;
set global validate_password_length=1;
修改mysql密码
set password=password("123456");
或者
alter user 'root'@'localhost' identified by '123456';
配置root用户远程访问权限
use mysql;
update user set host ='%' where user = 'root';
flush privileges;
三、安装Ranger
1、安装Solr
1.1 下载solr
wget http://archive.apache.org/dist/lucene/solr/8.3.0/solr-8.3.0.tgz
1.2 解压安装
tar -zxvf solr-8.3.0.tgz-C /opt
2、安装RangerAdmin
2.1 解压安装
tar -zxvf ranger-2.2.0-admin.tar.gz -C /opt
2.2 创建数据库和用户
mysql -uroot -p123456
CREATE DATABASE ranger DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
grant all privileges on ranger.* to ranger@'%' identified by 'ranger';
2.3 修改配置文件
编辑/opt/ranger-2.2.0-admin/contrib/solr_for_audit_setup/install.properties
#配置JAVA路径
JAVA_HOME=/usr/java/jdk1.8.0_321
#审计日志保存的最大天数,默认为90天
MAX_AUDIT_RETENTION_DAYS=90
#联网下载,默认为false
SOLR_INSTALL=false
#solr线上下载路径(如果SOLR_INSTALL=true,则需要配置SOLR_DOWNLOAD_URL)
#SOLR_DOWNLOAD_URL=http://archive.apache.org/dist/lucene/solr/8.3.0/solr-8.3.0.tgz
solr安装目录
SOLR_INSTALL_FOLDER=/opt/solr-8.3.0
solr对接ranger的服务
SOLR_RANGER_HOME=/opt/solr-8.3.0/ranger_audit_server
solr连接ranger的端口
SOLR_RANGER_PORT=6083
solr部署模式
SOLR_DEPLOYMENT=standalone
solr数据存储目录
SOLR_RANGER_DATA_FOLDER=/opt/solr-8.3.0/ranger_audit_server/data
solr单机部署,故为空
SOLR_ZK=
编辑/opt/ranger-2.2.0-admin/install.properties
#mysql驱动
SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java-5.1.47.jar
#mysql的主机名和root用户的用户名密码
db_root_user=root
db_root_password=123456
db_host=hadoop-ranger
#ranger需要的数据库名和用户信息,需要和之前创建的信息要一一对应
db_name=ranger
db_user=ranger
db_password=ranger
#其他ranger admin需要的用户密码(最少8个字符)
rangerAdmin_password=ranger123
rangerTagsync_password=ranger123
rangerUsersync_password=ranger123
keyadmin_password=ranger123
#ranger存储审计日志的路径和url,默认为solr
audit_store=solr
audit_solr_urls=http://hadoop-ranger:6083/solr/ranger_audits
#策略管理器的url,rangeradmin安装在哪台机器,主机名就为对应的主机名
policymgr_external_url=http://hadoop-ranger:6080
#启动ranger admin进程的linux用户信息
unix_user=ranger
unix_user_pwd=ranger
unix_group=ranger
#hadoop的配置文件目录
hadoop_conf=/opt/hadoop-3.1.3/etc/hadoop
2.4 初始化solr安装脚本
/opt/ranger-2.2.0-admin/contrib/solr_for_audit_setup/setup.sh
2.5 启动单机版solr
/opt/solr-8.3.0/ranger_audit_server/scripts/start_solr.sh
登陆网页查看是否启动成功:http://hadoop-ranger:6083/
具体日志文件可查看install_notes.txt
vim /opt/solr-8.3.0/ranger_audit_server/install_notes.txt
2.6 初始化ranger-admin脚本
/opt/ranger-2.2.0-admin/setup.sh
2.7 修改conf目录配置文件
编辑/etc/ranger/admin/conf/ranger-admin-site.xml
和上面创建ranger数据库密码保持一致(初始化后一般密码默认为"_",需要修改成对应密码)
<property>
<name>ranger.jpa.jdbc.password</name>
<value>ranger</value>
<description />
</property>
<property>
<name>ranger.service.host</name>
<value>hadoop-ranger</value>
</property>
2.8 启动ranger-admin
ranger-admin start
查看jps进程
2.9 登录ranger
通过访问:http://hadoop-ranger:6080
如出现以下界面,说明ranger-admin启动完成!
登录管理员用户默认可以使用用户名:admin,密码为之前配置的ranger123进行登录!
登录后界面如下:
3、安装RangerUsersync
RangerUsersync作为Ranger提供的一个管理模块,可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理!
3.1 解压ranger-usersync
tar -zxvf ranger-2.2.0-usersync.tar.gz -C /opt
3.2 修改配置文件
编辑/opt/ranger-2.2.0-usersync/install.properties
#rangeradmin的url
POLICY_MGR_URL =http://hadoop-ranger:6080
#同步间隔时间,单位(分钟)
SYNC_INTERVAL = 1
#运行此进程的linux用户
unix_user=ranger
unix_group=range
#rangerUserSync的用户密码,参考rangeradmin中install.properties的配置
rangerUsersync_password=ranger123
#hadoop的配置文件目录
hadoop_conf=/opt/hadoop-3.1.3/etc/hadoop
3.3 初始化ranger-usersync脚本
/opt/ranger-2.2.0-usersync/setup.sh
3.4 修改conf配置文件
编辑 /etc/ranger/usersync/conf/ranger-ugsync-site.xml
默认参数ranger.usersync.enabled为true,不同步用户,如果需要同步用户则改为true
<property>
<name>ranger.usersync.enabled</name>
<value>true</value>
</property>
3.5 启动ranger-usersync
启动之前,在ranger admin的web-UI界面,查看用户信息如下:
启动ranger-usersync
ranger-usersync start
再次登录ranger admin的web-UI界面,查看用户信息
至此ranger-admin和ranger-usersync已经安装配置完成!