电商数仓项目(二) Maven 安装和hadoop-lzo编译

      本章讲解Maven的安装配置和编译hadoop-lzo程序，为后续配置hdfs使用lzo压缩提供准备。

      hadoop-lzo编译可以参考：https://www.iteblog.com/archives/992.html

一、Maven 下载并解压缩

       使用root用户下载

[root@node01 u02]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz [root@node01 u02]# tar -zxf apache-maven-3.6.3-bin.tar.gz -C /u01 [root@node01 u02]# cd /u01 [root@node01 u01]# mv apache-maven-3.6.3 maven-3.6.3

二、设置环境变量

[root@node01 u01]$ vi /etc/profile   export MAVEN_HOME=/u01/maven-3.6.3 export PATH=$PATH:$MAVEN_HOME/bin   [root@node01 u01]$ source /etc/profile

三、Maven 配置

      创建下载目录，配置阿里下载源

[root@node01 u01]# cd maven-3.6.3 [root@node01 maven-3.6.3]# mkdir -p repo [root@node01 maven-3.6.3]# cd conf [root@node01 conf]# vi settings.xml # 大概在53行 ，添加本地下载的文件目录 <localRepository>/u01/maven-3.6.3/repo</localRepository> # 大概在146行左右，<mirrors>节点里面添加 <mirror>        <id>nexus-aliyun</id>        <mirrorOf>central</mirrorOf>        <name>Nexus aliyun</name>        <url>http://maven.aliyun.com/nexus/content/groups/public</url>     </mirror>

四、Hadoop-lzo下载

[root@node01 u01]# cd /u02 [root@node01 u02]# wget https://github.com/twitter/hadoop-lzo/archive/master.zip [root@node01 u02]# unzip master.zip [root@node01 u02]# cd hadoop-lzo-master

五、hadoop-lzo项目的pom.xml文件修改

        修改hadoop当前版本为3.2.2

[root@node01 hadoop-lzo-master]# vi pom.xml   <properties>     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>     <hadoop.current.version>3.2.2</hadoop.current.version>     <hadoop.old.version>1.0.4</hadoop.old.version>   </properties>

六、hadoop-lzo编译

           lzo的安装在 电商数仓项目(一)  中的五.8有介绍，如果没有安装可以参考。

[root@node01 hadoop-lzo-master]# export CFLAGS=-m64 [root@node01 hadoop-lzo-master]# export CXXFLAGS=-m64 [root@node01 hadoop-lzo-master]# export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include [root@node01 hadoop-lzo-master]# export LIBRARY_PATH=/usr/local/hadoop/lzo/lib [root@node01 hadoop-lzo-master]# mvn clean package -Dmaven.test.skip=true

            

七、获取编译后的文件

      将jar文件放到u02目录下，供hadoop配置使用

[root@node01 hadoop-lzo-master]# cd target [root@node01 target]# mv hadoop-lzo-0.4.21-SNAPSHOT.jar hadoop-lzo-0.4.21.jar [root@node01 target]# cp hadoop-lzo-0.4.21.jar /u02

 

电商数仓项目(一) 系统规划和配置

电商数仓项目(二) Maven 安装和hadoop-lzo编译

电商数仓项目(三) hadoop3.2.2 安装与配置

电商数仓项目(四) 模拟电商日志数据开发