zk环境搭建
删除原来的hadoop和zookeep(三台机器):
将CDH版本的zookeeper放入software中,等待解压:
同样的将编译后的hadoop也放入:
解压zookeeper到servers中
拷贝cfg文件:
创建zkdatas文件:
修改zoo.cfg配置文件:
创建myid并写入内容:
安装包分发到其他机器上:
Node2分发成功,node3同理
修改其他机器上的配置文件:
启动zk服务:
检查zk服务状态:
Hadoop环境搭建:
将hadoop解压到servers当中:
检查本地库:
(若snappy为false,则需要运行命令yum install snappy libsnappy*
若openssl为false,则需要运行命令yum -y install openssl-devel,需要所有机器安装)
修改配置文件:
创建目录:
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits
分发安装包
cd /export/servers
scp -r hadoop-2.6.0-cdh5.14.0/ node02:
P
W
D
s
c
p
−
r
h
a
d
o
o
p
−
2.6.0
−
c
d
h
5.14.0
/
n
o
d
e
03
:
PWD scp -r hadoop-2.6.0-cdh5.14.0/ node03:
PWDscp−rhadoop−2.6.0−cdh5.14.0/node03:PWD
配置环境变量:
vim /etc/profile
export HADOOP_HOME=/export/servers/jdk1.8.0_141
export PATH=:
H
A
D
O
O
P
H
O
M
E
/
b
i
n
:
HADOOP_HOME/bin:
HADOOPHOME/bin:HADOOP_HOME/sbin:$PATH
Source命令刷新配置文件
首次启动:
bin/hdfs namenode -format 或者 bin/hadoop namenode -format
启动:
hadoop目录下:sbin/start-dfs.sh
jps命令查看当前进程:
启动yarn集群:
jps命令查看当前进程:
启动history服务: