本章讲解Maven的安装配置和编译hadoop-lzo程序,为后续配置hdfs使用lzo压缩提供准备。
hadoop-lzo编译可以参考:https://www.iteblog.com/archives/992.html
一、Maven 下载并解压缩
使用root用户下载
[root@node01 u02]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz [root@node01 u02]# tar -zxf apache-maven-3.6.3-bin.tar.gz -C /u01 [root@node01 u02]# cd /u01 [root@node01 u01]# mv apache-maven-3.6.3 maven-3.6.3 |
二、设置环境变量
[root@node01 u01]$ vi /etc/profile
export MAVEN_HOME=/u01/maven-3.6.3
[root@node01 u01]$ source /etc/profile |
三、Maven 配置
创建下载目录,配置阿里下载源
[root@node01 u01]# cd maven-3.6.3 [root@node01 maven-3.6.3]# mkdir -p repo [root@node01 maven-3.6.3]# cd conf [root@node01 conf]# vi settings.xml # 大概在53行 ,添加本地下载的文件目录 <localRepository>/u01/maven-3.6.3/repo</localRepository> # 大概在146行左右,<mirrors>节点里面添加 <mirror> |
四、Hadoop-lzo下载
[root@node01 u01]# cd /u02 [root@node01 u02]# wget https://github.com/twitter/hadoop-lzo/archive/master.zip [root@node01 u02]# unzip master.zip [root@node01 u02]# cd hadoop-lzo-master |
五、hadoop-lzo项目的pom.xml文件修改
修改hadoop当前版本为3.2.2
[root@node01 hadoop-lzo-master]# vi pom.xml
<properties> |
六、hadoop-lzo编译
lzo的安装在 电商数仓项目(一) 中的五.8有介绍,如果没有安装可以参考。
[root@node01 hadoop-lzo-master]# export CFLAGS=-m64 |
七、获取编译后的文件
将jar文件放到u02目录下,供hadoop配置使用
[root@node01 hadoop-lzo-master]# cd target [root@node01 target]# mv hadoop-lzo-0.4.21-SNAPSHOT.jar hadoop-lzo-0.4.21.jar [root@node01 target]# cp hadoop-lzo-0.4.21.jar /u02 |