hadoop学习环境配置之编译(二)–安装包
准备工作下载hadoop 安装包和源码网址:https://hadoop.apache.org/release/2.7.7.html 我自己下载好的链接:https://pan.baidu.com/s/1fvyarEdnTc0ktz6n3elK4A 密码:zydp链接:https://pan.baidu.com/s/1MhI8-2mOoNV-UTOYZDQPLQ 密码:18md
hadoop-2.7.7.tar.gz 为linux下源码编译的
hadoop-2.7.7-src.tar.gz为源码
感兴趣的同学可以参照如下编译
需要在linux上安装如下软件
jdk1.8.0_112.tar.gz
apache-ant-1.9.11-bin.tar.gz
apache-maven-3.5.3-bin.tar.gz
findbugs-3.0.1.tar.gz
protobuf-2.5.0.tar.gz
系统yum 安装的
yum update
yum install gcc gcc-c++ autoconf automake
yum install -y cmake
yum install -y openssl-devel
yum install -y ncurses-devel
先安装jdk1.8 我这用下载 的地址 链接:https://pan.baidu.com/s/1C5w2VEmBBpZckdLBSUJHiw 密码:lf7x
用XFtp(网上能下载在)
将jdk的压缩文件上传至linux虚拟机的 /usr/local/ 目录下
命令 cd /usr/local
用命令 ls 找到你上传到的jdk压缩文件解压:
tar -zxvf jdk的名称
删除解压包:
rm jdk的名称
配置环境变量:
vi /etc/profile
JAVA_HOME=/usr/local/jdk1.8.0_181 (jdk路径)
JRE_HOME=
J
A
V
A
H
O
M
E
/
j
r
e
C
L
A
S
S
P
A
T
H
=
.
:
JAVA_HOME/jre CLASS_PATH=.:
JAVAHOME/jreCLASSPATH=.:JAVA_HOME/lib/dt.jar:
J
A
V
A
H
O
M
E
/
l
i
b
/
t
o
o
l
s
.
j
a
r
:
JAVA_HOME/lib/tools.jar:
JAVAHOME/lib/tools.jar:JRE_HOME/lib
PATH=
P
A
T
H
:
PATH:
PATH:JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
保存退出 source /etc/profile 测试 java -version
安装其他软件如jdk一样
全部解压后的环境配置如下
复制给大家:JAVA_HOME=/usr/local/jdk1.8.0_181
JRE_HOME=
J
A
V
A
H
O
M
E
/
j
r
e
C
L
A
S
S
P
A
T
H
=
.
:
JAVA_HOME/jre CLASS_PATH=.:
JAVAHOME/jreCLASSPATH=.:JAVA_HOME/lib/dt.jar:
J
A
V
A
H
O
M
E
/
l
i
b
/
t
o
o
l
s
.
j
a
r
:
JAVA_HOME/lib/tools.jar:
JAVAHOME/lib/tools.jar:JRE_HOME/lib
PATH=
P
A
T
H
:
PATH:
PATH:JAVA_HOME/bin:
J
R
E
H
O
M
E
/
b
i
n
M
A
V
E
N
H
O
M
E
=
/
u
s
r
/
l
o
c
a
l
/
m
a
v
e
n
P
A
T
H
=
JRE_HOME/bin MAVEN_HOME=/usr/local/maven PATH=
JREHOME/binMAVENHOME=/usr/local/mavenPATH=PATH:
M
A
V
E
N
H
O
M
E
/
b
i
n
P
R
O
T
O
B
U
F
=
/
u
s
r
/
l
o
c
a
l
/
p
r
o
t
o
b
u
f
P
A
T
H
=
MAVEN_HOME/bin PROTOBUF=/usr/local/protobuf PATH=
MAVENHOME/binPROTOBUF=/usr/local/protobufPATH=PATH:
P
R
O
T
O
B
U
F
/
b
i
n
A
N
T
H
O
M
E
=
/
u
s
r
/
l
o
c
a
l
/
a
n
t
P
A
T
H
=
PROTOBUF/bin ANT_HOME=/usr/local/ant PATH=
PROTOBUF/binANTHOME=/usr/local/antPATH=PATH:
A
N
T
H
O
M
E
/
b
i
n
F
I
N
D
B
U
G
S
H
O
M
E
=
/
u
s
r
/
l
o
c
a
l
/
f
i
n
d
b
u
g
s
P
A
T
H
=
ANT_HOME/bin FINDBUGS_HOME=/usr/local/findbugs PATH=
ANTHOME/binFINDBUGSHOME=/usr/local/findbugsPATH=PATH:$FINDBUGS_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH MAVEN_HOME PROTOBUF ANT_HOME FINDBUGS_HOME PATH
安装包网上都有我用的(maven 链接:https://pan.baidu.com/s/11iO0e76MY4GLxImaIykfNg 密码:195g
protobuf 链接:https://pan.baidu.com/s/1RZ68zbQ9g-j3W079sdUWVQ 密码:qyxf
ant 链接:https://pan.baidu.com/s/1eS5KOveYgaTxaq__ajQ7Uw 密码:b6gr
findbug 链接:https://pan.baidu.com/s/1C6dbP48hM-Qw5BaXzVaj8A 密码:9m8a)
进入解压后的hadoop-2.7.7-src.tar.gz
cd hadoop-2.7.7-src
执行命令 mvn clean install -DskipTests 等待漫长时间和网速有一定关系
编译好的文件在 hadoop-2.7.6-src/hadoop-dist/target下
windows 下编译困难很大
需要安装 maven 、jdk、findbug、cmake、zlib128-dll、cygwin、protobuf-2.5.0、visual studio 2010
安装步骤可以参考jdk的安装步骤,也可以参考https://blog.csdn.net/nidaye13123/article/details/78872329
带版本号的一定要按版本号来 按装软件可以从网上找到
(maven 链接:https://pan.baidu.com/s/1cXMHP4bhw0-6uFgzUbQQfQ 密码:hudw
findbug 链接:https://pan.baidu.com/s/1M28VNpCQTMdTeOF5-dC59A 密码:izgl
cmake 链接:https://pan.baidu.com/s/1q8m9HeYqHnqH0ZXMgie_mQ 密码:3ydq
zlib128-dll 链接:https://pan.baidu.com/s/1nDet2PVjQ96_1qFajMDxJg 密码:popn
cygwin 链接:https://pan.baidu.com/s/1sPzl9onyfMc17vFDnFJzew 密码:k9d7
protobuf https://download.csdn.net/download/qq_32961893/10720300)
安装完成后 找到visual studio 2010 命令提示窗口
切换到hadoop 主目录如:E:\hadoop\hadoop-2.7.7 执行 mvn package -Pdist,native-win -DskipTests -Dtar