龙蜥anolis8.8安装部署hudi

一、安装maven

step 1:下载maven，官网下载地址为https://maven.apache.org/download.cgi，直接选中二进制包下载。或是直接用wget下载。

wget https://dlcdn.apache.org/maven/maven-3/3.9.5/binaries/apache-maven-3.9.5-bin.tar.gz

step 2:解压二进制包到/usr/local/

tar -zxvf apache-maven-3.9.5-bin.tar.gz -C /usr/local/

step 3:修改目录名

cd /usr/local/
mv apache-maven-3.9.5 maven

step 4:配置环境变量

echo "export MAVEN_HOME=/usr/local/maven" >> /etc/profile
echo "export PATH=$MAVEN_HOME/bin:$PATH"  >> /etc/profile
source /etc/profile

step 5:查看maven信息

mvn -version

step 6:修改镜像仓库

vim /usr/local/maven/conf/settings.xml

添加下面的代码

 <mirror>
      <id>aliyunCentralMaven</id>
      <name>阿里云中央仓库</name>
      <url>https://maven.aliyun.com/repository/central/</url>
      <mirrorOf>central</mirrorOf>
 </mirror>

二、Hudi的编译和安装

step 7:下载hudi源码，下载地址为https://github.com/apache/hudi/tree/release-0.14.0

step 8:上传安装介质

step 9:解压源码包

unzip hudi-release-0.14.0.zip

step 10:修改pom文件

vim hudi-release-0.14.0/pom.xml

配置加速依赖，搜索repositories，在下面添加如下代码

<repository>
        <id>nexus-aliyun</id>
        <name>nexus-aliyun</name>
        <url>https://maven.aliyun.com/repository/public</url>
        <releases>
            <enabled>true</enabled>
        </releases>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
</repository>

修改hadoop和hive版本

<hadoop.version>3.3.6</hadoop.version>
<hive.version>3.1.3</hive.version>

step 11:编译安装

mvn clean package -DskipTests -Dspark3.2 -Dflink1.13 -Dscala-2.12 -Dhadoop.version=3.3.6 -Pflink-bundle-shade-hive3

step 12:测试,运行脚本

hudi-cli/hudi-cli.sh

EOF