HIVE迁移教程X86架构到ARM架构(CPU：鲲鹏920)

centos8的hive迁移教程

1安装新的centos8环境

2.安装实验所需软件
2.1.安装OpenJDK

yum install java-1.8.0-openjdk

配置JAVA环境变量
执行如下命令设置JAVA环境变量：

echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.275.b01-1.el8_3.aarch64' >> /etc/profile
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile

根据服务器环境调整自己的环境变量

执行如下命令导入配置的JAVA环境变量：

source /etc/profile

执行如下命令验证配置是否生效：

java -version

正确输出如下图所示：

2.2.安装Maven

yum install maven

.配置Maven环境变量
执行如下命令配置Maven环境变量

根据服务器环境调整自己的环境变量

echo 'export MAVEN_HOME=/usr/share/maven' >> /etc/profile
echo 'export PATH=$PATH:$MAVEN_HOME/bin' >> /etc/profile

执行如下命令导入Maven环境变量：

source /etc/profile

执行如下命令验证Maven是否安装成功：

mvn -v

看到如下图所示输出则说明Maven已经安装成功：

配置鲲鹏Maven仓库
执行如下命令添加鲲鹏Maven仓库：

sed  -i '246a <profile><id>securecentral</id><activation><activeByDefault>true</activeByDefault></activation><repositories><repository><id>kunpeng</id><url>https://mirrors.huaweicloud.com/kunpeng/maven/</url><releases><enabled>true</enabled></releases></repository><repository><id>huaweicloud</id><url>https://mirrors.huaweicloud.com/repository/maven/</url><releases><enabled>true</enabled></releases></repository></repositories></profile>' /usr/share/maven/conf/settings.xml

sed -i '158a <mirror><id>huaweicloud</id><mirrorOf>!kunpeng,!huaweicloud,*</mirrorOf><url>https://mirrors.huaweicloud.com/repository/maven/</url></mirror>'  /usr/share/maven/conf/settings.xml

如果添加失败， 通过find / -name settings.xml寻找位置
如果maven仓库的settings.xml中已有其他配置，也可通过在profile节点配置鲲鹏maven仓库。
添加如下配置优先使用鲲鹏maven仓库：
注：鲲鹏maven仓库只有arm的相关jar包，所以需要配置第二个maven仓库，当鲲鹏maven仓搜索不到时，自动搜索下一个maven仓

<profile>
   <id>securecentral</id>
   <activation>
       <activeByDefault>true</activeByDefault>
   </activation>
   <repositories>
       <repository>
           <id>kunpeng</id>
           <url>https://mirrors.huaweicloud.com/kunpeng/maven/</url>
           <releases>
               <enabled>true</enabled>
           </releases>
       </repository>
       <repository>
           <id>huaweicloud</id>
           <url>https://mirrors.huaweicloud.com/repository/maven/</url>
           <releases>
               <enabled>true</enabled>
           </releases>
       </repository>
   </repositories>
 </profile>

2.3.安装 Dependency Advisor
2.3.1.下载并解压Dependency Advisor软件包
执行如下命令下载Dependency Advisor安装包，待安装包下载成功后即可进行下一个步骤的操作：

cd
wget https://sandbox-experiment-resource-north-4.obs.cn-north-4.myhuaweicloud.com/kunpeng-maven/Dependency-advisor-Kunpeng-linux-1.1.3.tar.gz

执行如下命令解压安装包：

tar -zxvf Dependency-advisor-Kunpeng-linux-1.1.3.tar.gz

2.3.2.安装软件包
执行如下命令进入到安装脚本执行目录：

cd Dependency-advisor-Kunpeng-linux-1.1.3

进入脚本执行目录后，执行如下安装命令：

./install.sh web

命令执行后会有三次交互式输入，直接回车即可

安装过程大约持续【5分钟】，终端显示如下图所示字样后，表示软件安装已经成功：

2.4.安装CheckSo工具
2.4.1.下载CheckSo安装包
执行如下命令下载安装包，待安装包下载成功后即可进行下一个步骤的操作：

cd
wget https://sandbox-experiment-resource-north-4.obs.cn-north-4.myhuaweicloud.com/kunpeng-maven/checkSo.zip

2.4.2.安装CheckSo工具
执行如下命令安装CheckSo工具：

 unzip checkSo.zip  && chmod +x checkSo/*.sh

3.软件依赖分析（Hive）
3.1下载Hive软件包
执行如下命令下载Hive软件包，待安装包下载成功后即可进行下一个步骤的操作：

cd
wget -P /opt/depadv/depadmin/ https://sandbox-experiment-resource-north-4.obs.cn-north-4.myhuaweicloud.com/kunpeng-maven/hive_2_6_3_0_235-1.2.1000.2.6.3.0-235.noarch.rpm

3.2.使用CheckSo工具检查软件包依赖文件(方法一)
通过CheckSo工具检查当前rpm包是否包含X86依赖文件，以确定是否能在鲲鹏平台上直接运行。

执行如下命令即可对【3.1】步骤下载的软件包进行依赖文件检查：

cd checkSo && ./main.sh /opt/depadv/depadmin/hive_2_6_3_0_235-1.2.1000.2.6.3.0-235.noarch.rpm

依赖检查结果保存在main.sh脚本所在目录的JarResult.log文件以及NonJarResult.log文件中。JarResult.log 文件中保存的是Jar包中包含的不兼容鲲鹏处理器的so。格式为:组件包名,jar包名,缺乏arm版本的so库文件名。NonJarResult.log文件中保存的是非Jar包中不兼容鲲鹏处理器的so。分别执行如下命令可查看两个文件中的内容：

cat JarResult.log
cat NonJarResult.log

显示结果如下图所示：

3.3.使用Dependency Advisor检查软件包依赖文件(方法二)
3.3.1.通过浏览器登录Dependency Advisor
打开“实验操作桌面”的火狐浏览器，然后在浏览器中输入 https://EIP:8082并访问（注意，此处需要将EIP替换为系统为您预置的【ECS】的【EIP】）。第一次访问时，浏览器会有连接不安全提示，此时需要依次点击页面的 “高级” -> “添加例外” -> “确认安全例外“ ,如下图所示：

安全例外添加成功后会进入到登录页面，在登录框中输入用户名和密码即可登录。登录的默认用户名和密码分别是： depadmin ， Admin@9000 如下图所示：

首次登录成功需要更改默认密码，在输入框中输入旧密码 Admin@9000 和新密码 ******* (新密码也可以是您能记住的其他字符串)然后点击“确认”即可，如下图所示：

当密码修改成功后，会自动跳转到登录页面，此时在登录框中输入用户名及您新修改的密码即可登录，登录成功后如下图所示：

3.3.2.依赖检查
登录到Dependency Advisor软件的操作界面，然后选中“分析软件安装包”，并在“软件安装包存放路径或安装包名称” 下面的输入框中输入需要分析的软件包hive_2_6_3_0_235-1.2.1000.2.6.3.0-235.noarch.rpm ，然后点击分析按钮即可，如下图所示：

分析过程大概持续【2分钟】，分析完成后如下图所示：

4.迁移软件包
在【3.2】和 【3.3】步骤使用了2种不同的方法对Hive的RPM安装包做了分析后发现当前的Hive RPM安装包中包含了x86依赖，因此不能直接在鲲鹏上运行，需要使用源码重新编译使之能够正常在鲲鹏上运行。

4.1.下载并解压Hive源码
回到终端，执行如下命令下载Hive源码，待源码下载成功后即可进行下一个步骤的操作：

cd
wget https://sandbox-experiment-resource-north-4.obs.cn-north-4.myhuaweicloud.com/kunpeng-maven/hive-release-HDP-2.6.3.0-235-tag.tar.gz

tag.tar.gz
执行如下命令解压Hive源码包：

tar -zxvf hive-release-HDP-2.6.3.0-235-tag.tar.gz

4.2.编译源码
执行如下命令开始编译：

cd  hive-release-HDP-2.6.3.0-235-tag
mvn clean install -Phadoop-2 -DskipTests -Pdist -T 4C

编译时间大约【4分钟】，编译完成后如下图所示：

如果遇到编译通不过的情况，请根据编译报错进行相关的代码修改即可

4.3.使用CheckSo工具重新进行依赖检查
经过【4.2】步骤的重新编译，会在源码目录下的packaging/target目录下生成一个名为apache-hive-1.2.1000.2.6.3.0-235-bin.tar.gz 的新安装包，此安装包已经去除了x86依赖，可执行以下命令对新安装包做依赖检查：

cd /root/checkSo
rm -f JarResult.log NonJarResult.log
./main.sh /root/hive-release-HDP-2.6.3.0-235-tag/packaging/target/apache-hive-1.2.1000.2.6.3.0-235-bin.tar.gz

命令执行完毕后，可执行如下命令查看检查结果：

cat *.log

如下图所示，在输出中看不到任何有关于jar或so的信息，说明安装包已经成功去除了x86依赖，移植到了鲲鹏平台。