既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
1、官网下载安装包,maven官网地址:Maven – Download Apache Maven
2、解压安装包,并重命名为maven
3、创建依赖包存放路径:/home/hadoop/data/maven/repository
4、进入conf,修改settings.xml文件
<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.2.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.2.0 https://maven.apache.org/xsd/settings-1.2.0.xsd">
<localRepository>/root/data</localRepository>
<pluginGroups>
</pluginGroups>
<proxies>
</proxies>
<servers>
</servers>
<mirrors>
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
</mirrors>
<profiles>
</profiles>
</settings>
5、配置maven环境变量
#编辑环境变量
vim /etc/profile
#添加以下内容
#MAVEN_HOME
MAVEN_HOME=/opt/maven-3.9.6
PATH=$MAVEN_HOME/bin:$PATH
export MAVEN_HOME PATH
#更新环境变量
source /etc/profile
6、测试maven:mvn -version
二、安装lzo
1、下载lzo:wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz
2、解压,并进入lzo目录
3、设置安装路径:./configure -prefix=/usr/local/hadoop/lzo/
注意:这个路径是hadoop目录,不能随便设。
4、安装
make
make install
注意:需要把/usr/local/hadoop/lzo/分发到其他集群中
5、下载源码:wget https://github.com/twitter/hadoop-lzo/archive/master.zip
6、修改解压后的pom.xml
<hadoop.current.version>3.2.4</hadoop.current.version>
7、声明临时变量
export C_INCLUDE_PATH=/opt/lzo/include
export LIBRARY_PATH=/opt/lzo/lib
8、进入hadoop-lzo-master,执行maven编译命令:mvn package -Dmaven.test.skip=true
9、进入target目录,如果有hadoop-lzo-0.4.21-SNAPSHOT.jar包,则说明编译成功。
10、将编译好后的hadoop-lzo-0.4.21-SNAPSHOT.jar 放入/opt/hadoop/server/hadoop-3.2.4/share/hadoop/common中。
11、将hadoop-lzo-0.4.21-SNAPSHOT.jar 同步到其他服务器中。
12、给core-site.xml增加LZO配置
<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
13、将core-site.xml同步到其他服务器中。
三、测试lzo是否集成成功
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!