1.ip addr
2.xshell xftp
传输 jdk+hadoop 传到 /opt
3.安装java
cd /opt
rpm -ivh /opt/jdk-7u67-linux-x64.rpm
4.解压hadoop
tar -zxf /opt/hadoop-2.6.5.tar.gz -C /usr/local/
5.修改环境变量->讓系統知道你裝了這個
vi /etc/profile
在文末添加
export HADOOP_HOME=/usr/local/hadoop-2.6.5/
export JAVA_HOME=/usr/java/jdk1.7.0_67
export JRE_HOME=
J
A
V
A
H
O
M
E
/
j
r
e
e
x
p
o
r
t
P
A
T
H
=
JAVA_HOME/jre export PATH=
JAVAHOME/jreexportPATH=PATH:
J
A
V
A
H
O
M
E
/
b
i
n
:
JAVA_HOME/bin:
JAVAHOME/bin:JRE_HOME/bin:
H
A
D
O
O
P
H
O
M
E
/
b
i
n
;
e
x
p
o
r
t
C
L
A
S
S
P
A
T
H
=
.
:
HADOOP_HOME/bin; export CLASSPATH=.:
HADOOPHOME/bin;exportCLASSPATH=.:JAVA_HOME/lib/dt.jar:
J
A
V
A
H
O
M
E
/
l
i
b
/
t
o
o
l
.
j
a
r
JAVA_HOME/lib/tool.jar
JAVAHOME/lib/tool.jarJRE_HOME/lib
source /etc/profile 重新加载配置文件
cd $HADOOP_HOME 测试是否能够跳转,测试是否配置成功
cd $JAVA_HOME 测试是否能够跳转,测试是否配置成功
6.修改hadoop运行环境
cd
H
A
D
O
O
P
H
O
M
E
/
e
t
c
/
h
a
d
o
o
p
v
i
h
a
d
o
o
p
−
e
n
v
.
s
h
找
到
e
x
p
o
r
t
J
A
V
A
H
O
M
E
=
HADOOP_HOME/etc/hadoop vi hadoop-env.sh 找到 export JAVA_HOME=
HADOOPHOME/etc/hadoopvihadoop−env.sh找到exportJAVAHOME={JAVA_HOME}
改成->export JAVA_HOME=/usr/java/jdk1.7.0_67
7.启动单机版hadoop 测试 计算pi
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar pi 10 10
1.在单机版hadoop的前提下安装伪分布式hadoop
cd /usr/local/hadoop-2.6.5/ cd $HADOOP_HOME
2.vi etc/hadoop/core-site.xml
fs.defaultFS
hdfs://localhost:9000
- vi etc/hadoop/hdfs-site.xml
dfs.replication
1
4.设置自己对自己免密登录->生成密钥
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
5.测试自己是否对自己免密登录
ssh localhost
logout退出
6.格式化namenode
hdfs namenode -format
如果格式化失败,在英文中会出现Exception Error Cause等字眼
7.启动hadoop 的dfs
sbin/start-dfs.sh
jps查看进程
NameNode
SecondaryNameNode
DataNode
8.关闭防火墙
systemctl stop firewalld.service
9.浏览器访问
192.168.xxx.xxx:50070
10.关闭集群
sbin/stop-dfs.sh