我们启动了4个节点:namenode、datanode、resourcemanager、nodemanager
集群配置
注意注意:ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。NameNode和SecondaryNameNode不要安装在同一台服务器
集群分发
把module目录拷贝到hadoop100:
[root@hadoop102 opt]# cd /opt
[root@hadoop102 opt]# scp -r module/ hadoop100:/opt/
把module目录拷贝到hadoop101:
[root@hadoop102 opt]# rsync -av module hadoop101:/opt/
把 /etc/profile拷贝到hadoop100 hadoop101
[root@hadoop102 opt]# rsync -av /etc/profile hadoop101:/etc
[root@hadoop102 opt]# rsync -av /etc/profile hadoop100:/etc
在hadoop100和hadoop101上分别要进行source /etc/profile
[root@hadoop100 opt]# source /etc/profile
[root@hadoop101 opt]# source /etc/profile
分布式集群格式化
分布式集群第一次启动之前要格式化
格式化之前,要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉
[root@hadoop101 opt]# cd /opt/module/hadoop-3.1.3
[root@hadoop101 opt]# rm -rf data
[root@hadoop101 opt]# rm -rf logs
在指定namenode运行的服务器上执行格式化:
(namenode指定在hadoop100上运行的)
[root@hadoop100hadoop-3.1.3]#hdfsnamenode
hdfs --daemon start datanode
yarn --daemon start nodemanager
-format
hdfs --daemon start datanode
yarn --daemon start nodemanager
1)启动hdfs相关
hdfs --daemon start namenode
hdfs --daemon start datanode
2)启动yarn相关
yarn --daemon start resourcemanager
yarn --daemon start nodemanager