Hadoop集群

准备工作
服务器环境：
主机名 系统版本 IP地址
Hbase-1（主） Centos7.6 172.19.0.127
Hbase-2（从） Centos7.6 172.19.0.126
Hbase-3（从） Centos7.6 172.19.0.125
软件版本：
软件名 版本号
hadoop 2.7.7
zookeeper 3.4.14
hbase 2.1.4
Jdk 1.8.0_144

环境初始化
因为我使用的是阿里云的ECS服务器，且在VPC网络模式内，所以防火墙、SELinux默认已经关闭，我这里不在列举。
当前使用root用户进行部署：
以下各节点操作：

echo “172.19.0.127 hbase-1” > /etc/hosts

echo “172.19.0.126 hbase-2” >> /etc/hosts

echo “172.19.0.125 hbase-3” >> /etc/hosts

cd ~/.ssh

ssh-keygen -t rsa

cat id_rsa.pub > authorized_keys

scp authorized_keys hbase-2:~/.ssh

scp authorized_keys hbase-3:~/.ssh

免登各个服务器配置后，将免登信息集中分发给集群服务器。

hostname hbase-1

hostname hbase-2

hostname hbase-3

scp /etc/hos ts hbase-2:/etc/

scp /etc/hosts hbase-3:/etc/

vim /etc/profile

source /etc/profile

scp /etc/profile hbase-2:/etc/

scp /etc/profile hbase-3:/etc/

软件包下载：
软件包下载这里不做列举。

安装hadoop集群
创建支持目录

mkdir /data/hadoop-2.7.7/dfs –p

mkdir /data/hadoop-2.7.7/tmp

mkdir /data/hadoop-2.7.7/var

mkdir /data/hadoop-2.7.7/dfs/data

mkdir /data/hadoop-2.7.7/dfs/name

cd /data

tar –zxvf hadoop-2.7.7.tar.gz

cd /data/hadoop-2.7.7/etc/hadoop

vim core-site.xml

vim hadoop-env.sh

vim hdfs-site.xml

vim mapred-site.xml

vim yarn-site.xml

vim slaves

cd /data

zip hadoop-2.7.7zip hadoop-2.7.7/*

scp hadoop-2.7.7zip hbase-2:/data/

scp hadoop-2.7.7zip hbase-3:/data/

ssh hbase-2 “unzip -o /data/hadoop-2.7.7zip”

ssh hbase-3 “unzip -o /data/hadoop-2.7.7zip”

启动Hadoop服务

hadoop namenode -format

start-all.sh

jps

我这里是已经启动了zk、hbase了，所以要去掉3个进程。

ssh hbase-2 “jps”

ssh hbase-3 “jps”

安装zookeeper服务
创建支持目录

mkdir /data/zookeeper-3.4.14/data/zkData –p

vim zoo.cfg

echo “1” > /data/zookeeper-3.4.14/data/zkData/myid

#chmod 777 /data/zookeeper-3.4.14/data/zkData/myid

ssh hbase-2 “echo “2” > /data/zookeeper-3.4.14/data/zkData/myid”

ssh hbase-2 “chmod 777 /data/zookeeper-3.4.14/data/zkData/myid”

ssh hbase-3 “echo “3” > /data/zookeeper-3.4.14/data/zkData/myid”

ssh hbase-3 “chmod 777 /data/zookeeper-3.4.14/data/zkData/myid”

启动zookeeper服务

/data/zookeeper-3.4.14/bin/zkServer.sh start

ssh hbase-2 “/data/zookeeper-3.4.14/bin/zkServer.sh start”

ssh hbase-3 “/data/zookeeper-3.4.14/bin/zkServer.sh start”

/data/zookeeper-3.4.14/bin/zkServer.sh status

ssh hbase-2 “/data/zookeeper-3.4.14/bin/zkServer.sh status”

ssh hbase-3 “/data/zookeeper-3.4.14/bin/zkServer.sh status”

如果是1leader、2follower则证明集群启动成功。

验证Hadoop集群
使用浏览器：
http://MASTER_IP:50070/dfshealth.html#tab-overview

在这个里面可以看到DFS的信息，如当前集群的hdfs容量等。
到这里hadoop集群算是完成了。