ranger-release-HDP-2.6.4.0-91-tag编译打包

环境准备

• 编译环境参考：https://blog.csdn.net/Happy_Sunshine_Boy/article/details/91375219

# 根据编译环境搭建maven之后，在编译hortonworks的大数据平台时，需要修改maven，/opt/apache-maven-3.3.9/conf/settings.xml
  <mirrors>
        <mirror>
            <id>nexus-hortonworks</id>
            <mirrorOf>*</mirrorOf>
            <name>Nexus hortonworks</name>
            <url>http://nexus-private.hortonworks.com/nexus/content/groups/public/</url>
       </mirror>
  </mirrors>

• 下载：https://github.com/hortonworks/ranger-release/releases/tag/HDP-2.6.4.0-91-tag
• 上传：使用xftp或者命令rz上传
• 或者直接在服务器上使用：wget https://github.com/hortonworks/ranger-release/archive/HDP-2.6.4.0-91-tag.tar.gz
• 下载安装：mysql5.6，用户名：root，密码：bigdata，参考【在nd-00.hdp虚拟机上安装mysql】：https://blog.csdn.net/Happy_Sunshine_Boy/article/details/86676386

# 创建：ranger、rangerkms用户，密码：bigdata
mysql> create database ranger character set utf8;
mysql> CREATE USER 'ranger'@'%'IDENTIFIED BY 'bigdata';
mysql> GRANT ALL PRIVILEGES ON ranger.* TO 'ranger'@'%';
mysql> FLUSH PRIVILEGES;

mysql> create database rangerkms character set utf8;
mysql> CREATE USER 'rangerkms'@'%'IDENTIFIED BY 'bigdata';
mysql> GRANT ALL PRIVILEGES ON rangerkms.* TO 'rangerkms'@'%';
mysql> FLUSH PRIVILEGES;

编译

# 解压
[root@gaia tarpackage]# tar -zxvf ranger-release-HDP-2.6.4.0-91-tag.tar.gz -C /opt/
# 编译
[root@gaia ranger-release-HDP-2.6.4.0-91-tag]# mvn clean compile package install assembly:assembly -DskipTests -Drat.skip=true
# 正在使用maven'进行编译，时间较长，编译完成之后，查看
[root@gaia ranger-release-HDP-2.6.4.0-91-tag]# cd target/

安装ranger-admin

[root@gaia ranger-release-HDP-2.6.4.0-91-tag]# cd target/
[root@gaia target]# tar -zxvf ranger-0.7.0.2.6.3.0-SNAPSHOT-admin.tar.gz
[root@gaia target]# cd ranger-0.7.0.2.6.3.0-SNAPSHOT-admin
[root@gaia ranger-0.7.0.2.6.3.0-SNAPSHOT-admin]# vim install.properties

# 修改如下
SQL_CONNECTOR_JAR=/root/.m2/repository/mysql/mysql-connector-java/5.1.31/mysql-connector-java-5.1.31.jar

db_root_user=root
db_root_password=bigdata
db_host=localhost

db_name=ranger
db_user=ranger
db_password=bigdata

#注释以下几行内容，禁用审计日志
#audit_store=solr

# * audit_solr_url URL to Solr. E.g. http://<solr_host>:6083/solr/ranger_audits
#audit_solr_urls=
#audit_solr_user=
#audit_solr_password=
#audit_solr_zookeepers=

# 开始安装
[root@gaia ranger-0.7.0.2.6.3.0-SNAPSHOT-admin]# ./setup.sh
[root@gaia ranger-0.7.0.2.6.3.0-SNAPSHOT-admin]# ranger-admin start

• 如果遇到以下错误：max key length is 767 bytes ErrorCode: 1071
  
• 解决办法：登录mysql数据库

mysql> set global innodb_file_format = BARRACUDA;
mysql> set global innodb_large_prefix = ON;

• 访问：192.168.120.4:6080 用户名和密码：admin/admin
  
  

打包deb（Ubuntu环境下进行）

方法1：

• 创建build目录（任意选择位置）：mkdir build
• 创建ranger目录（和build保持同级目录）：mkdir ranger-*（根据具体组件名称命名）
• 在ranger目录下创建DEBIAN（deb包的名称及版本等信息）、usr/hdp/2.6.4.0-91/ranger-*（deb包的安装路径）两个目录
  
• 在DEBIAN目录下创建control文件，ranger-admin组件的control内容如下：

Package: ranger-2-6-4-0-91-admin
Source: ranger
Version: 0.7.0.2.6.4.0-91
Architecture: all
Maintainer: Bigtop <dev@bigtop.apache.org>
Installed-Size: 218747
Depends: adduser, hdp-select (>= 2.6.4.0-91)
Section: misc
Priority: extra
Homepage: http://knox.apache.org/
Description: Ranger-admin is admin component associated with the Ranger framework

• 进入usr/hdp/2.6.4.0-91/ranger-*目录下，把编译好的tar包解压到该目录下
• 返回build同级目录，执行打包命令：dpkg-deb -b ranger-*/ build/
• 打包后的deb包存放在build目录下

方法2：

• 如果ranger集成ambari，ranger打deb包的结构必须统一，下载基于debian的开源ranger的deb包
• 以ranger-admin为例说明

cd /hdd/tgm/ranger
创建目录
mkdir build
mkdir ranger-admin/DEBIAN     (*根据具体组件名称创建)

开源ranger的deb包解压到指定目录
dpkg -X ranger-2-6-4-0-91-admin_0.7.0.2.6.4.0-91_all.deb /hdd/tgm/ranger/ranger-admin

提取开源ranger的deb包的DEBIAN/control文件
dpkg -e ranger-2-6-4-0-91-admin_0.7.0.2.6.4.0-91_all.deb /hdd/tgm/ranger/ranger-admin/DEBIAN/

编译好的tar包解压到/hdd/tgm/ranger/ranger-admin/usr/hdp/2.6.4.0-91目录下替换原来的ranger-admin
原来的ranger-admin删除
解压的tar包重命名为ranger-admin

如果编译打包的过程中修改了文件的权限，则递归修改文件相应的用户及用户组权限
chown -R root:root ranger-admin/

打deb包
dpkg-deb -b ranger-admin/ build/

build目录下的打包好的13个deb文件
ranger-2-6-4-0-91-admin_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-atlas-plugin_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-hbase-plugin_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-hdfs-plugin_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-hive-plugin_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-kafka-plugin_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-kms_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-knox-plugin_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-solr-plugin_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-storm-plugin_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-tagsync_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-usersync_0.7.0.2.6.4.0-91_all.deb
ranger-2-6-4-0-91-yarn-plugin_0.7.0.2.6.4.0-91_all.deb

制作本地源
把打包好的deb包拷贝到/var/www/html/hdp/dists/HDP/main/binary/ranger目录下

执行以下命令创建本地源
dpkg-scanpackages -t deb . | gzip -9c > Packages.gz
apt update

验证本地源是否正常，查询源中的安装包
apt search ranger

本地源制作好之后，可以登录ambari 8080页面进行ranger的安装

以下命令是ranger适配的过程中用到的deb包的安装问题
查看已安装的安装包
dpkg -l | grep ranger

删除已安装的安装包
dpkg -r ranger

强制删除
dpkg -r --force-all ranger-2-6-4-0-91-kms

ambari-server启动跳过数据库检查
ambari-server start --skip-database-check