CentOS7下Hadoop-3.2.1源码编译

最新推荐文章于 2022-04-29 21:16:13 发布
最新推荐文章于 2022-04-29 21:16:13 发布
阅读量409 收藏 6
点赞数 3
文章标签： linux centos 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42908756/article/details/109137576
版权

CentOS7下Hadoop-3.2.1源码编译

为了避免踩坑建议先查看Hadoop源码包中的BUILDING.txt文本里面说明了各个系统平台下的环境需求准备本次是在CentOS7下所以只展示相关环境

  • Unix System
    * JDK 1.8 （必须）
    * Maven 3.3 or later （必须）
    * ProtocolBuffer 2.5.0 （必须且必须是这个版本）
    * CMake 3.1 or newer (if compiling native code) （必须，yum安装或者下载tar包解压都行，后面有具体操作）
    * Zlib devel (if compiling native code) （本人在实际操作的时候是必须要装的，但是在低版本的Hadoop貌似是不需要）
    * Cyrus SASL devel (if compiling native code)
    * One of the compilers that support thread_local storage: GCC 4.8.1 or later, Visual Studio,
    Clang (community version), Clang (version for iOS 9 and later) (if compiling native code)
    * openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)（需要，直接使用yum源安装即可）
    * Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs)（以下都不需要管）
    * Doxygen ( if compiling libhdfspp and generating the documents )
    * Internet connection for first build (to fetch all Maven and Hadoop dependencies)
    * python (for releasedocs)
    * bats (for shell code testing)
    * Node.js / bower / Ember-cli (for YARN UI v2 building)

1、前期必须环境准备

2、安装环境

  1. jdk安装

解压tar包到指定目录
tar -zxvf jdk-8u261-linux-i586.tar.gz -C /usr/local/software
配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/software/jdk1.8.0_261
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
立即生效
source /etc/profile
输入 java -version javac java
三个命令验证是否安装成功

  1. maven安装

解压tar包到指定目录
tar -zxvf apache-maven-3.6.3-bin.tar.gz -C /usr/local/software
配置环境变量
vim /etc/profile
export MAVEN_HOME=/usr/local/software/apache-maven-3.6.3
export PATH=$MAVEN_HOME/bin:$PATH
立即生效
source /etc/profile
输入mvn -v 验证是否安装成功

  1. ant安装

解压tar包到指定目录
tar -zxvf apache-ant-1.9.15-bin.tar.gz -C /usr/local/software
配置环境变量
vim /etc/profile
export ANT_HOME=/usr/local/software/apache-ant-1.9.15
export PATH=$ANT_HOME/bin:$PATH
立即生效
source /etc/profile
输入ant -version 验证是否安装成功

  1. cmake安装

安装cmake之前需要先安装cmake的依赖环境make、glibc-headers、g++、openssl-devel
yum install make
yum install glibc-headers
yum install g++
yum install openssl-devel
解压tar包到指定目录
tar -zxvf cmake-3.1.0.tar.gz -C /usr/local/software
然后进入cmake目录执行一下命令将cmake进行编译
./bootstrap
make && make install
然后还是最简单的配置环境变量
vim /etc/profile
export CMAKE_HOME=/usr/local/software/cmake-3.1.0
export PATH=$CMAKE_HOME/bin:$PATH
立即生效
source /etc/profile
输入cmake -version验证是否成功
这里要说说明一下cmake直接使用yum源安装的话版本可能不符合要求，直接更新也可以只要达到开头说的Hadoop所要求的版本就行，如果是或者2.x版本的话就可以直接使用yum源安装的cmake

  1. zlib安装

解压tar包到指定目录
tar -zxvf v1.2.11.tar.gz -C /usr/local/software
进入zlib目录进行编译
- -prefix 指定安装位置
./configure --prefix=/usr/local/software/zlib
make
make install
配置环境变量，将指定的安装目录配置进去
export ZLIB_HOME=/usr/local/software/zlib
export PATH=$ZLIB_HOME:$PATH
立即生效
source /etc/profile
zlib这个东西在Hadoop-3.1.x之前的版本进行源码编译是不需要安装的，但是本人在Hadoop3.2.x版本搞了一天最后安装了个zlib就成了，有知道的小伙伴麻烦给讲解一下呗

  1. protobuf安装

解压tar包到指定目录
tar -zxvf protobuf-2.5.0.tar.gz -C /usr/local/software/
进入protobuf目录执行一下命令
./configure
make
make check
make install
ldconfig
全部执行完并且没有错误之后配置环境变量
vim /etc/profile
export LD_LIBRARY_PATH=/usr/local/software/protobuf-2.5.0
export PATH=$PATH:$LD_LIBRARY_PATH
输入 protoc --version 验证是否安装成功

最后再安装一个ncurses-devel库
yum install ncurses-devel

至此全部环境准备完毕，上述所有验证都能看到相应环境信息就算成功，如果出现找不到命令什么的环境变量要好好检查一下

装好的环境的profile文件大概是这个样子

在这里插入图片描述

3、开始编译（这个过程会下载很多maven资源一定要保证网络通畅,如果网络很慢建议将maven的远程仓库换成阿里的镜像仓库）

<!-- 阿里的maven镜像仓库 -->
<mirror>
	<id>nexus-aliyun</id>
	<mirrorOf>central</mirrorOf>
	<name>Nexus aliyun</name>
	<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

将Hadoop的源码包解压到本地指定目录
tar -zxvf hadoop-3.2.1-src.tar.gz -C /usr/local/software/
进入到Hadoop源码包
执行mvn package -Pdist,native -DskipTests -Dtar即可，会等较长时间
经过漫长的等待看到一堆SUCCESS以及BUILD SUCCESS并且没有报错就是成功了，然后就可以开始快乐的Hadoop之旅了
在这里插入图片描述
最后编译成功后的Hadoop包在源码包的hadoop-3.2.1-src/hadoop-dist/target目录下在这里插入图片描述

最后说明本文章大部分内容是根据实际操作纯手敲，难免会有疏忽写错的地方，但是整个过程是本人亲自实际操作过的，我本地实践这套流程是可以成功的，但是如果有失败的小伙伴，或者其他的解决方法，欢迎进行讨论，纯纯小白一只，欢迎大佬指出错误！！！

海绵！
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
最新版linux apache-ant-1.9.15-bin.tar.gz
05-16
最新版linux apache-ant-1.9.15-bin.tar.gz
CentOS7环境下编译Hadoop3.2.1源码
u011066054的博客
06-19 667
1.环境搭建 镜像版本：CentOS-7-x86_64-DVD-1908.iso SOFTWARE SELECTION：GNOME Desktio
Hadoop-3.2.1源码编译环境搭建
月落乀醉红尘
07-30 1430
操作系统： 本人的操作系统为CentOS7.8，软件安装包路径为 /data ， 软件安装路径为 /apps ，环境搭建过程中路径请做相应改动 准备工作： 一、下载软件安装包(附官下载地址)： 1、jdk-8u231-linux-x64.tar.gz （hadoop 3.1.3 需要的java版本为 jdk 1.8） https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2、.
手把手教你用Centos7安装完全分布式Hadoop3.2.1
pgs1004151212的博客
02-29 1528
一、设置ssh免密码登录 1.确认ssh服务已经安装并打开： 2.打开文件/etc/ssh/sshd_config，确保以下配置已经添加(如果被"#“注释了就把”#"删除，用sudo完成)： AuthorizedKeysFile .ssh/authorized_keys PubkeyAuthentication yes 3、输入ssh-keygen -t rsa，然后一路回车，...
CentOS7下Hadoop3.2.1的安装与部署（单机模式）
qq_46416934的博客
04-29 975
安装准备 下载Hadoop安装包 下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common 本例中，我下载的是当前最新的稳定版本 hadoop-3.2.1.tar.gz 。 下载JDK 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html 先执行如下命令，查看自己Linux服务器的操作系统位数，下载适用的JDK安装包。 [root@localhost ~]# g
CentOS7下Hadoop3.2.1集群的安装与部署（上）
01-07
本篇文章将详细介绍如何在CentOS7服务器上安装并配置Hadoop3.2.1高可用集群。  Hadoop-HA集群的节点规划如下： IP Address Host Name Node Type User Name 172.16.250.234 DN1/JN1 DataNode/...
CentOS7下Hadoop3.2.1集群的安装与部署（下）
01-07
在《CentOS7下Hadoop3.2.1集群的安装与部署（上）》中我们我们完成了对Hadoop集群的安装与启动。接下来，重点对HDFS和Yarn的HA配置进行介绍。 HDFS高可用 在上述Hadoop集群搭建完成之后，若要启用HA还需要对hdfs-...
Centos7 + Hadoop3 搭建伪分布式集群
01-07
hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;...
2.Hadoop3.2.1分布式集群安装
01-20
Hadoop3.2.1 分布式集群安装 1.准备环境： 3 台 linux 虚拟机(CentOs7.x 64 位) ip 为： 192.168.2.100 192.168.2.101 192.168.2.102 对应的 hostname 为： hadoop100 hadoop101 hadoop102 2.虚拟机基本环境配置： ...
基于zookeeper-3.5.5安装hadoop-3.1.2.pdf
11-09
截至本文撰写时（2019/9/17日），Hadoop最高版本为3.2.0，但适用于生产环境的为3.1.2（9月22日发布了可用于生产环境的3.2.1版本），本文只介绍3.1.2版本的分布式安装，不包含单机版安装。适用于Hadoop-3.1.3版本，所...
apache-ant-1.9.9-bin.tar.gz 【适用于linux系统】
11-15
apache-ant-1.9.9-bin.tar.gz 【适用于linux系统，如CentOS、Ubuntu等】。
centos7.4安装+hadoop2.7.6编译
05-08
centos7.4在VMware详细安装文档，以及hadoop2.7.6编译环境安装和编译。
apache-ant-1.9.4-bin.tar.gz （适用于LINUX系统）
05-16
apache-ant-1.9.4-bin.tar.gz （适用于LINUX系统）
apache-ant-1.9.15-bin.zip
11-02
Apache Ant,是一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具，大多用于Java环境中的软件开发。由Apache软件基金会所提供。
apache-ant-1.10.5-bin.tar.gz 下载
08-15
nt是Java的生成工具，是Apache的核心项目； Ant类似于Unix中的Make工具，都是用来编译、生成； Ant是跨平台的，而Make不能； Ant的主要目的就是把你想做的事情自动化，不用你手动一步一步做，因为里面内置了javac、java、创建目录、复制文件等功能，所以可以直接点击Ant文件，即可编译生成你的项目。
centos7 安装hadoop 3.2.1
qq_38892122的博客
03-31 401
配置主机名 vi /etc/sysconfig/network 添加下列内容，保存并关闭 NETWORKING=yes HOSTNAME=你的主机名称 vi /etc/hosts 添加下列内容，保存并关闭 你的ip 你的主机名 然后需要重启reboot才能生效 设置ssh免密登录 一次执行下列命令 ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa **如果提示找...
Centos7环境下，配置Hadoop-3.2.1伪分布式以及问题处理
flqxing的博客
12-02 332
Centos7环境下，配置Hadoop-3.2.1伪分布式以及问题处理 主要分为一下几个步骤： 安装jdk（原因下面请看）； 修改host配置； 关闭防火墙； 安装hadoop； 配置 Hadoop 伪分布式； 启动hdfs； 准备工作 关闭防火墙 #停止防火墙 systemctl stop firewalld #关闭防火墙开机自动启动 systemctl disable firewalld 修改hosts文件，配置用户指定本机IP地址 例如;192.168.1.1 hadoop Hadoop的
hadoop3.2.1完全分布式集群安装
m0_67393686的博客
03-25 1780
版本：Centos7 Haddop3.2.1 JDK1.8 装备工作： 在安装前先要确保三台服务器之间能够ping通，已经安装了jdk，主机名的设置以及hosts文件的修改（ip和主机名映射关系），还有各主机的免密登录以及关闭防火墙。 本次安装用到的三台虚拟机如下： ip hostname 192.168.59.101 hadoop1(主机节点) 192.168.59.102 hadoop2（从节点） 192.168.59.103 hadoop3（从节点） 1、设置主机名称 hostnamectl set-
centos7搭建hadoop-3.3.0集群手记
最新发布
06-28
很高兴为您提供CentOS 7搭建Hadoop 3.3.集群的手记。 1. 安装Java 首先，需要安装Java。可以使用以下命令安装OpenJDK 8： sudo yum install java-1.8.-openjdk-devel 2. 下载Hadoop 下载Hadoop 3.3.版本，并将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值