安装部署编译hudi-0.9.0

hudi 0.9.0 需要->spark3.0.x
spark3.0.x需要->scala 2.12.x / jdk1.8u25x+
本人其他组件版本
hadoop 3.1.1
hive 3.1.0
kafka 2.0.0

一. 配置所需环境

1. 配置java1.8环境 scala2.12.10环境 spark3.0.2环境变量
   

二. 安装配置maven

1. 解压maven 包到指定位置
   tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /opt/soft
2. 添加maven环境变量
   vim /etc/profile
   
   source /etc/profile
3. 配置 maven阿里云地址
   vim /opt/soft/maven/conf/settings.xml
   

<mirror>
       <id>nexus-aliyun</id>
       <mirrorOf>central</mirrorOf>
       <name>Nexus aliyun</name>
       <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

---

以上

环境变量配置如下

JAVA_HOME=/usr/local/java/jdk1.8.0_321
JRE_HOME=/usr/local/java/jdk1.8.0_321/jre

PATH=$PATH:/sbin/:$JAVA_HOME/bin:$CATALINA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:
export JAVA_HOME JRE_HOME PATH CLASSPATH
export SCALA_HOME=/usr/local/scala/scala-2.12.10
export PATH=$PATH:$SCALA_HOME/bin
export HADOOP_HOME=/usr/hdp/3.1.4.0-315/hadoop
export HADOOP_CONF_DIR=/usr/hdp/3.1.4.0-315/hadoop/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export SPARK_HOME=/opt/soft/spark3
export PATH=$PATH:$SPARK_HOME/bin

#MAVEN_HOME
export MAVEN_HOME=/opt/soft/maven
export PATH=$PATH:$MAVEN_HOME/bin

---

三. 解压官网源码包

1. 下载hudi源码包
   
2. 解压hudi压缩包
   tar -zxvf /opt/soft/hudi/hudi-0.9.0.src.tgz

3. 修改pom文件，增加阿里云地址
   
   

    <repository>
        <id>nexus-aliyun</id>
        <name>nexus-aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <releases>
            <enabled>true</enabled>
        </releases>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>

4. 修改完成后在hudi-0.9.0目录下执行命令
   mvn clean package -DskipTests -DskipITs -Dscala-2.12 -Dspark3
   等待12 分钟后编译完成

四. 最后可以看到此目录下有spark相关jar包