Hadoop集成LZO

4、进入conf，修改settings.xml文件

<?xml version="1.0" encoding="UTF-8"?>
 
<settings xmlns="http://maven.apache.org/SETTINGS/1.2.0"
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.2.0 https://maven.apache.org/xsd/settings-1.2.0.xsd">
 
  <localRepository>/root/data</localRepository>
  
  <pluginGroups>
  </pluginGroups>
 
  <proxies>    
  </proxies>
 
  <servers>
  </servers>
 
  <mirrors>
    <mirror>  
         <id>alimaven</id>  
         <name>aliyun maven</name>  
         <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
         <mirrorOf>central</mirrorOf>          
    </mirror> 
  </mirrors>
 
  <profiles>
  </profiles>
</settings>

5、配置maven环境变量

#编辑环境变量
vim /etc/profile
​
#添加以下内容
#MAVEN_HOME
MAVEN_HOME=/opt/maven-3.9.6
PATH=$MAVEN_HOME/bin:$PATH
export MAVEN_HOME PATH
​
#更新环境变量
source /etc/profile

6、测试maven：mvn -version

二、安装lzo

1、下载lzo：wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

2、解压，并进入lzo目录

3、设置安装路径：./configure -prefix=/usr/local/hadoop/lzo/

注意：这个路径是hadoop目录，不能随便设。

4、安装

make
​
make install

注意：需要把/usr/local/hadoop/lzo/分发到其他集群中

5、下载源码：wget https://github.com/twitter/hadoop-lzo/archive/master.zip

6、修改解压后的pom.xml

<hadoop.current.version>3.2.4</hadoop.current.version>

7、声明临时变量

export C_INCLUDE_PATH=/opt/lzo/include
export LIBRARY_PATH=/opt/lzo/lib

8、进入hadoop-lzo-master，执行maven编译命令：mvn package -Dmaven.test.skip=true

9、进入target目录，如果有hadoop-lzo-0.4.21-SNAPSHOT.jar包，则说明编译成功。

10、将编译好后的hadoop-lzo-0.4.21-SNAPSHOT.jar 放入/opt/hadoop/server/hadoop-3.2.4/share/hadoop/common中。

11、将hadoop-lzo-0.4.21-SNAPSHOT.jar 同步到其他服务器中。

12、给core-site.xml增加LZO配置

<property>
    <name>io.compression.codecs</name>
    <value>
        org.apache.hadoop.io.compress.GzipCodec,
        org.apache.hadoop.io.compress.DefaultCodec,
        org.apache.hadoop.io.compress.BZip2Codec,
        org.apache.hadoop.io.compress.SnappyCodec,
        com.hadoop.compression.lzo.LzoCodec,
        com.hadoop.compression.lzo.LzopCodec
    </value>
</property>
<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

13、将core-site.xml同步到其他服务器中。

三、测试lzo是否集成成功

1、启动hadoop

2、进入hadoop目录

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount -Dmapreduce.output.fileoutputformat.compress=true -Dmapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec /jobs /jobs.lzo
​


![img](https://img-blog.csdnimg.cn/img_convert/668f0799dfc6f36141be80ec071ccf2f.png)
![img](https://img-blog.csdnimg.cn/img_convert/5c303fad4a72f8c073f165cb298e64a6.png)
![img](https://img-blog.csdnimg.cn/img_convert/bf56a17cc6e5275aa2fc09360d14f062.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**