【Hadoop】Hadoop 编译源码

• Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries) 的概念。
• 说白了，就是Hadoop的某些功能，必须通过JNT来协调Java类文件和Native代码生成的库文件一起才能工作。
• linux系统要运行Native 代码，首先要将Native 编译成目标CPU 架构的[.so]文件。而不同的处理器架构，需要编译出相应平台的动态库[.so] 文件，才能被正确的执行，所以最好重新编译一次hadoop源码，让[.so]文件与自己处理器相对应。
• 简单来说就是编译出适合自己机器的Hadoop。

Hadoop 编译源码

1前期工作准备

• CentOS 联网
• 配置 CentOS 能连接外网。Linux 虚拟机 ping www.baidu.com 是畅通的。
• jar 包准备（hadoop 源码、JDK8、maven、ant 、protobuf）
  ① hadoop-2.7.7-src.tar.gz
  ② jdk-8u151-linux-x64.tar.gz
  ③ apache-ant-1.9.9-bin.tar.gz（build 工具，打包用的）
  ④ apache-maven-3.0.5-bin.tar.gz
  ⑤ protobuf-2.5.0.tar.gz（序列化的框架）

2jar 包安装

参考我的另一篇博客：【Linux】Linux上的一些软件安装与环境配置（Centos7配置JDK、Hadoop）

2.1安装 Maven

• 下载地址：链接：https://pan.baidu.com/s/1qp_LhRMvqpIXXznbDdK3kw?pwd=6666 提取码：6666
• 上传到/root/soft
• 解压到/opt/module/

tar -zxvf apache-maven-3.8.4-bin.tar.gz -C /opt/module/

• 配置环境变量

	vim /etc/profile
	
	#添加以下内容
	export MAVEN_HOME=/opt/module/apache-maven-3.8.4
	export PATH=$PATH:$MAVEN\_HOME/bin

	#生效
	source /etc/profile

• 进入解压后的 Maven 目录，编辑配置文件（更改 Maven 镜像）
  

<mirror>
  <id>nexus-aliyun</id>
  <mirrorOf>central</mirrorOf>
  <name>Nexus aliyun</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

• 查看 Maven 是否安装成功
  

2.2安装 ant

• 下载地址：链接：https://pan.baidu.com/s/1_5AU5KjwjWBZoNEYwVj5sw?pwd=6666 提取码：6666
• 上传到/root/soft
• 解压到/opt/module/

tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module/

• 配置环境变量

vim /etc/profile

#添加以下内容
#ANT\_HOME
export ANT_HOME=/opt/module/apache-ant-1.9.9
export PATH=$PATH:$ANT\_HOME/bin

#生效
source /etc/profile

• 查看 ant 是否安装成功
  

2.3安装 glibc-headers 和 g++

yum install glibc-headers

yum install gcc-c++

2.4安装 make 和 cmake

 yum install make

 yum install cmake

2.5安装 protobuf

• 下载地址：链接：https://pan.baidu.com/s/1nHvCXa1xd2jvp3XIEjeH5g?pwd=6666 提取码：6666
• 上传到/root/soft
• 解压到/opt/moudel

tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/

• 配置环境变量

vim /etc/profile

#添加以下内容
#LD\_LIBRARY\_PATH
export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
export PATH=$PATH:$LD\_LIBRARY\_PATH

#生效
source /etc/profile

• 进入到解压后 protobuf 主目录，/opt/module/protobuf-2.5.0，然后相继执行命令

cd /opt/module/protobuf-2.5.0
./configure 
make
make check
make install
ldconfig 

• 查看安装结果
  

2.6安装 openssl 库

**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/5060f9edd8203856bb55c6b7fdcd5924.png)
![img](https://img-blog.csdnimg.cn/img_convert/cc6c51857562ecad6d91f026241d7ae3.png)
![img](https://img-blog.csdnimg.cn/img_convert/0badc4b7dda1799c79f08cd99daf73e8.png)
![img](https://img-blog.csdnimg.cn/img_convert/c00a61e02fe0ea1452fa29550b0a5037.png)
![img](https://img-blog.csdnimg.cn/img_convert/e07b6645b16c8aede9f891d075166ef4.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/b5a42df496e1d82e5290a2cf95b08c66.png)

学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-5cfOC0pE-1712868315071)]