ranger和presto源码编译

Presto+Ranger源码编译问题总结

由于最近想要整合prestodb和ranger，故想要对presto内部进一步了解，方便对其添加ranger的插件。

为此，我对presto进行了源码编译，同时对ranger0.7.1（线上用的版本）进行了源码编译。presto是在win10上编译的，ranger在ubuntu16.04上进行编译的，下面讲解下主要的编译流程

一、Presto源码编译

一、环境

WIN10、jdk1.8、presto-0.233、maven-3.8.2

二、步骤

1.修改presto-maven-plugin

Presto使用presto-maven-plugin编译。在Window下编译失败原因是编译过程中类找不到，而且文件路径错了。

这里Presto使用的presto-maven-plugin的版本为0.3，从 GitHub prestodb/presto-maven-plugin 0.3 下载源码。

修改ServiceDescriptorGenerator

String className = classPath.substring(0, classPath.length() - 6).replace('/', '.');

替换成

String className = classPath.substring(0, classPath.length() - 6).replace(File.separatorChar, '.');

因为类名是通过把类路径的文件分隔符替换成.来生成，Windows的分隔符是\，所以把’/'替换成File.separatorChar。

再将presto-maven-plugin，mvn clean install -DskipTests 到本地仓库中。

2. 修改根目录pom.xml

是否安装Python
可能和Python环境有关。文档由sphinx生成，未安装就注释。

<module>presto-docs</module>

是否创建GIT仓库,使用git clone方式下载的
有，就不用管。
没有，需要在的元素中，添加配置

<plugin>       
    <groupId>pl.project13.maven</groupId>       
    <artifactId>git-commit-id-plugin</artifactId>       
    <configuration>           
        <skip>true</skip>       
    </configuration>   
</plugin>

再注释

<Build-Time>${git.build.time}</Build-Time>
<Git-Commit-Id>${git.commit.id}</Git-Commit-Id>
<Implementation-Version>${project.version}-${git.commit.id.abbrev}</Implementation-Version>

3.配置类unix环境

Presto编译过程中会用到Linux中的命令，Git Bash带有一些类Unix的命令。

设置Windows的环境变量Path，加上：%GIT_HOME%\usr\bin，其中GIT_HOME是Git的安装路径，一般默认安装路径为：C:\Program Files\Git。

如果使用了Intellij Idea，配置好环境变量之后，需要重启Intellij Idea才能生效。

4.编译项目

mvn clean install -DskipTests

编译成功了之后，就要进入到presto-main中修改相关配置

三、修改配置

修改presto-main\etc\config.properties

# http端口
http-server.http.port=18080
# 这里在Coordinator中启用了Discovery的嵌入式版本，所以它应该是Coordinator的URI
discovery.uri=http://localhost:18080

# 插件文件夹
plugin.dir=../presto-server/target/presto-server-0.240/presto-server-0.240/plugin
#plugin.bundles=\
#  ../presto-blackhole/pom.xml,\
#  ../presto-memory/pom.xml,\
#  ../presto-jmx/pom.xml,\
#  ../presto-raptor/pom.xml,\
#  ../presto-hive-hadoop2/pom.xml,\
#  ../presto-example-http/pom.xml,\
#  ../presto-kafka/pom.xml, \
#  ../presto-tpch/pom.xml, \
#  ../presto-local-file/pom.xml, \
#  ../presto-mysql/pom.xml,\
#  ../presto-sqlserver/pom.xml, \
#  ../presto-postgresql/pom.xml, \
#  ../presto-tpcds/pom.xml, \
#  ../presto-i18n-functions/pom.xml,\
#  ../presto-function-namespace-managers/pom.xml,\
#  ../presto-druid/pom.xml

修改presto-main\etc\catalog\hive.properties
将hive.properties重命名为hive.properties.bak。启动后默认会加载catalog目录下所有的连接器，本地无hadoop、hive等环境，就会报错导致启动失败。其他自带的catalog，如果没有用到，请修改名称，以免启动带来不必要的麻烦。

一般你可以验证mysql即可。

修改PrestoSystemRequirements.java

注释presto-main模块PrestoSystemRequirements的代码，相关代码片段用IDEA搜索功能查找

failRequirement("Presto requires Linux or Mac OS X (found %s)", osName);

修改文件描述符大小限制(手动改成10000)：

private static OptionalLong getMaxFileDescriptorCount()
    {
        try {
            MBeanServer mbeanServer = ManagementFactory.getPlatformMBeanServer();
            //Object maxFileDescriptorCount = mbeanServer.getAttribute(ObjectName.getInstance(OPERATING_SYSTEM_MXBEAN_NAME), "MaxFileDescriptorCount");
            Object maxFileDescriptorCount = 10000;
            return OptionalLong.of(((Number) maxFileDescriptorCount).longValue());
        }
        catch (Exception e) {
            return OptionalLong.empty();
        }
    }

下面a/b步骤可以根据目的选一个，a步不包含任何插件，可以快速调试接口。b步包含完整插件，有完整的功能：
a、接下来，把PluginManager的插件注释掉，

   /*for (File file : listFiles(installedPluginsDir)) {
            if (file.isDirectory()) {
                loadPlugin(file.getAbsolutePath());
            }
        }

        for (String plugin : plugins) {
            loadPlugin(plugin);
        }*/

把etc/catalog的配置文件全部改名为.properties.bak。
b、下载presto-server-0.207.tar.gz文件，解压到任意目录，把这里边的plugin目录作为IDEA工程的plugin目录，需要打开文件PluginManagerConfig.java，做如下修改：

//    private File installedPluginsDir = new File("plugin");
    private File installedPluginsDir = new File("D:\\presto-server-0.207\\plugin");

etc/catalog的配置文件根据需要改名为.properties.bak。
最后运行PrestoServer。

四、启动

首先要配置好启动的jvm参数VM options

-Xmx800M -XX:+UseConcMarkSweepGC -XX:+ExplicitGCInvokesConcurrent -XX:+CMSClassUnloadingEnabled -XX:+AggressiveOpts -XX:+HeapDumpOnOutOfMemoryError -XX:ReservedCodeCacheSize=150M -Dsun.security.krb5.debug=true  -Dconfig=etc/config.properties -Dlog.levels-file=etc/log.properties 

然后选择presto-main项目，主类是com.facebook.presto.server.PrestoServer

五、遇到的问题

1、Cannot resolve symbol 'SqlBaseParser

在运行项目的时候，出现例如在presto-parser模块Cannot resolve symbol 'SqlBaseParser缺少代码的错误，这是因为源码不带anltr4的生成代码。可以在根目录运行生成anltr4代码的命令。

mvn antlr4:antlr4

在执行命令完成后，错误依旧没有消失，我们可以看看项目的结构。File -> Project Structure -> Modules -> presto-parser，将presto-parser的target -> generated-sources ->anltr4设置为Sources

参考文章：
https://blog.csdn.net/qq_36160730/article/details/109067896
https://www.cnblogs.com/ginponson/p/9500663.html

二、ranger源码编译流程

1. 部署准备

ranger: 进入apach官网下载 http://ranger.apache.org/download.html， 本次使用的是ranger0.7.1 ，地址为https://codeload.github.com/apache/ranger/zip/refs/tags/release-ranger-0.7.1

maven: 进入Apache的maven官网http://maven.apache.org/download.cgi下载, 本次用的是maven3.8.2

python2.7: 因编译及试用中需要Python2.7版本的Python，因此如果为Centos6系统，需要手动升级Python至Python2.7，升级过程可参考历史文章Python升级

MySQL： 需要mysql数据库，如无可用MySQL需要部署一套MySQL，部署方法请参考历史文章MySQL部署

mysql-connector-java: 进入MySQL官网下载 https://dev.mysql.com/downloads/connector/j/5.1.html

Jdk版本： 本次使用的jdk版本是1.8.0_321

具体安装这些组件的过程不再赘述，可以参考下面贴出来的两篇文章。

2.编译

将ranger0.7.1下载好，上传到ubuntu目录，可以放到你用户的家目录下，注意必须要当前账户有权限，否则会遇到很多权限不足的问题；

解压，导入到idea中。或者你不用idea直接解压也ok，idea为了方便看代码，后续做插件修改之类的。

修改ranger根目录的pom.xml文件

 <repository>
            <id>apache.snapshots.https</id>
            <name>Apache Development Snapshot Repository</name>
<!--            <url>https://repository.apache.org/content/repositories/snapshots</url>-->
            <url>https://repo1.maven.org/maven2/</url>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>apache.public.https</id>
            <name>Apache Development Snapshot Repository</name>
            <url>https://repository.apache.org/content/repositories/public</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </repository>

执行mvn命令，打包

mvn clean compile package assembly:assembly install -Dmaven.test.skip=true;

此处将单元测试全部略过，因为有的单元测试有问题会影响编译。

注意，一定要安装了python2，否则你编译不过ranger-util

成功编译的结果：

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary for ranger 0.7.1:
[INFO] 
[INFO] ranger ............................................. SUCCESS [  3.591 s]
[INFO] Jdbc SQL Connector ................................. SUCCESS [  1.632 s]
[INFO] Credential Support ................................. SUCCESS [  0.479 s]
[INFO] Audit Component .................................... SUCCESS [  1.731 s]
[INFO] Common library for Plugins ......................... SUCCESS [  2.892 s]
[INFO] Installer Support Component ........................ SUCCESS [  0.265 s]
[INFO] Credential Builder ................................. SUCCESS [  0.405 s]
[INFO] Embedded Web Server Invoker ........................ SUCCESS [  0.341 s]
[INFO] Key Management Service ............................. SUCCESS [  0.891 s]
[INFO] ranger-plugin-classloader .......................... SUCCESS [  0.198 s]
[INFO] HBase Security Plugin Shim ......................... SUCCESS [  1.319 s]
[INFO] HBase Security Plugin .............................. SUCCESS [  1.280 s]
[INFO] Hdfs Security Plugin ............................... SUCCESS [  4.005 s]
[INFO] Hive Security Plugin ............................... SUCCESS [  2.247 s]
[INFO] Knox Security Plugin ............................... SUCCESS [  0.550 s]
[INFO] Storm Security Plugin .............................. SUCCESS [  0.642 s]
[INFO] YARN Security Plugin ............................... SUCCESS [  0.462 s]
[INFO] Ranger Util ........................................ SUCCESS [  5.051 s]
[INFO] Unix Authentication Client ......................... SUCCESS [  0.330 s]
[INFO] Security Admin Web Application ..................... SUCCESS [ 13.658 s]
[INFO] KAFKA Security Plugin .............................. SUCCESS [  1.504 s]
[INFO] SOLR Security Plugin ............................... SUCCESS [  3.403 s]
[INFO] NiFi Security Plugin ............................... SUCCESS [  0.354 s]
[INFO] Unix User Group Synchronizer ....................... SUCCESS [  1.097 s]
[INFO] Ldap Config Check Tool ............................. SUCCESS [  2.643 s]
[INFO] Unix Authentication Service ........................ SUCCESS [  2.010 s]
[INFO] KMS Security Plugin ................................ SUCCESS [  2.111 s]
[INFO] Tag Synchronizer ................................... SUCCESS [  2.863 s]
[INFO] Hdfs Security Plugin Shim .......................... SUCCESS [  0.515 s]
[INFO] Hive Security Plugin Shim .......................... SUCCESS [  1.543 s]
[INFO] Knox Security Plugin Shim .......................... SUCCESS [  0.665 s]
[INFO] YARN Security Plugin Shim .......................... SUCCESS [  0.543 s]
[INFO] Storm Security Plugin shim ......................... SUCCESS [  0.536 s]
[INFO] KAFKA Security Plugin Shim ......................... SUCCESS [  0.572 s]
[INFO] SOLR Security Plugin Shim .......................... SUCCESS [  0.848 s]
[INFO] Atlas Security Plugin Shim ......................... SUCCESS [  0.332 s]
[INFO] KMS Security Plugin Shim ........................... SUCCESS [  0.577 s]
[INFO] Ranger Hive Utils .................................. SUCCESS [  1.189 s]
[INFO] ranger-examples .................................... SUCCESS [  0.126 s]
[INFO] Ranger Examples - Conditions and ContextEnrichers .. SUCCESS [  0.523 s]
[INFO] Ranger Examples - SampleApp ........................ SUCCESS [  0.844 s]
[INFO] Ranger Examples - Ranger Plugin for SampleApp ...... SUCCESS [  1.209 s]
[INFO] Ranger Tools ....................................... SUCCESS [  1.728 s]
[INFO] Atlas Security Plugin .............................. SUCCESS [  0.976 s]
[INFO] Unix Native Authenticator .......................... SUCCESS [  1.484 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  07:03 min
[INFO] Finished at: 2022-01-28T10:38:15+08:00
[INFO] ------------------------------------------------------------------------

我们可以在根目录的target文件夹下看到生成的tar.gz包。

root@ubuntu:/home/luohaizhang/ideaProjects/ranger/ranger-release-ranger-0.7.1# ls target
antrun                            ranger-0.7.1-hbase-plugin.tar.gz  ranger-0.7.1-kms.tar.gz             ranger-0.7.1-solr-plugin.tar.gz   ranger-0.7.1-usersync.tar.gz
archive-tmp                       ranger-0.7.1-hbase-plugin.zip     ranger-0.7.1-kms.zip                ranger-0.7.1-solr-plugin.zip      ranger-0.7.1-usersync.zip
maven-shared-archive-resources    ranger-0.7.1-hdfs-plugin.tar.gz   ranger-0.7.1-knox-plugin.tar.gz     ranger-0.7.1-src.tar.gz           ranger-0.7.1-yarn-plugin.tar.gz
ranger-0.7.1-admin                ranger-0.7.1-hdfs-plugin.zip      ranger-0.7.1-knox-plugin.zip        ranger-0.7.1-src.zip              ranger-0.7.1-yarn-plugin.zip
ranger-0.7.1-admin.tar.gz         ranger-0.7.1-hive-plugin.tar.gz   ranger-0.7.1-migration-util.tar.gz  ranger-0.7.1-storm-plugin.tar.gz  rat.txt
ranger-0.7.1-admin.zip            ranger-0.7.1-hive-plugin.zip      ranger-0.7.1-migration-util.zip     ranger-0.7.1-storm-plugin.zip     version
ranger-0.7.1-atlas-plugin.tar.gz  ranger-0.7.1-kafka-plugin.tar.gz  ranger-0.7.1-ranger-tools.tar.gz    ranger-0.7.1-tagsync.tar.gz
ranger-0.7.1-atlas-plugin.zip     ranger-0.7.1-kafka-plugin.zip     ranger-0.7.1-ranger-tools.zip       ranger-0.7.1-tagsync.zip

3.安装启动ranger-admin

2.3.1 修改配置文件

进入target目录
cd /opt/apache-ranger-1.2.0/target/

解压ranger-1.2.0-admin.tar.gz
tar -zxvf ranger-1.2.0-admin.tar.gz

进入ranger-1.2.0-admin目录
cd ranger-1.2.0-admin

修改 install.properties
vim install.properties

SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java-8.0.17.jar   //  修改为准备工作中下载的jar包及路径

db_root_user=root
db_root_password=123456
db_host=192.168.56.105

db_name=ranger
db_user=rangeradmin
db_password=rangeradmin


# 可以注销如下内容
#Source for Audit Store. Currently only solr is supported.
# * audit_store is solr
## audit_store=solr

# * audit_solr_url URL to Solr. E.g. http://<solr_host>:6083/solr/ranger_audits
## audit_solr_urls=
## audit_solr_user=
## audit_solr_password=
## audit_solr_zookeepers=

这里不用solr组件统计了，测试而已

调用脚本./setup.sh 安装

注意，如果中途报如下错误

2019-08-20 08:54:22,460  [I] '/usr/local/java/bin/java' command found
setup.sh:行325: bc: 未找到命令
setup.sh: 第 325 行:[: -eq: 期待一元表达式

即缺少bc命令，安装后即可 。

注意，mysql一定要有访问权限，必须不限制当前机器的host。

最终出现如下结果

2019-08-20 09:00:18,240  [I] --------- Verifying Ranger DB connection ---------
2019-08-20 09:00:18,240  [I] Checking connection..
geradmin' -p '********' -noheader -trim -c \; -query "SELECT version();"
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
2019-08-20 09:00:18,838  [I] Checking connection passed.
2019-08-20 09:00:19,091  [I] DB FLAVOR :MYSQL
2019-08-20 09:00:19,092  [I] --------- Verifying Ranger DB connection ---------
2019-08-20 09:00:19,092  [I] Checking connection..
geradmin' -p '********' -noheader -trim -c \; -query "SELECT version();"
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
2019-08-20 09:00:19,660  [I] Checking connection passed.
Installation of Ranger PolicyManager Web Application is completed.

表示已完成安装。

4 .启动ranger-admin
进入ews目录
cd ews
启动服务
./ranger-admin-services.sh start

/**  正常情况下出现如下结果*/ 
Starting Apache Ranger Admin Service

Apache Ranger Admin Service with pid 236275 has started.

#  查看是否启动
ps -ef|grep ranger
或
netstat -lntp|grep 6080

启动完成后，可以用web端登录验证，默认端口为6080,默认用户名密码均为admin

后续自行验证即可。

如果后面加了新的组件，比如写了presto的plugin，配置好后，编译，同样启动验证即可。

参考文章：
https://www.cnblogs.com/gjc592/p/11383778.html
https://blog.csdn.net/mm_bit/article/details/51208500