hadoop使用docker搭建分布式系统

前期准备

可以看我之前的博客，搭建了一个伪分布式系统，本篇操作是在此基础之上。

修改配置文件

指定nodemanager的地址，修改文件yarn-site.xml

<property>
    <description>The hostname of the RM.</description>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop0</value>
  </property>

修改hadoop0中hadoop的一个配置文件
路径是etc/hadoop/slaves，删除掉原来的内容，如果有的话

hadoop1
hadoop2

然后将配置文件复制到另外两台机器上去

  scp  -rq /usr/local/hadoop   hadoop1:/usr/local
  scp  -rq /usr/local/hadoop   hadoop2:/usr/local

启动集群

执行sbin/start-all.sh

验证集群是否正常
首先查看进程：
Hadoop0上需要有这几个进程

[root@hadoop0 hadoop]# jps
4643 Jps
4073 NameNode
4216 SecondaryNameNode
4381 ResourceManager

Hadoop1上需要有这几个进程`

[root@hadoop1 hadoop]# jps
715 NodeManager
849 Jps
645 DataNode

Hadoop2上需要有这几个进程

[root@hadoop2 hadoop]# jps
456 NodeManager
589 Jps
388 DataNode

通过浏览器访问集群的服务
由于在启动hadoop0这个容器的时候把50070和8088映射到宿主机的对应端口上了，所以在这可以直接通过宿主机访问容器中hadoop集群的服务，宿主机的ip这里我用的是华为云的服务器，就不方便展示出来了。

总结

这次安装因为实在华为云上通过docker安装遇到了不少的问题
1.yum update过慢
这里可以通过更换源地址来解决

阿里云的源

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 

或者网易云的源

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.163.com/.help/CentOS7-Base-163.repo

yum clean all

yum makecache

2.安装jdk是提示

/usr/local/java/jdk1.8.0_25/bin/java: cannot execute binary file

这是因为华为云提供的是arm64位需要专属的Linuxarm的jdk，可以去官网下载

3.datenode节点启动失败，这是因为多次格式化系统导致namenode和datenode的ID不一致导致的。
最直接有效的办法就是修改Datanode上的namenodeID(位于/hadoop/tmp/dfs/data/current/VERSION文件中）或修改NameNode的namespaceID（位于/hadoop/tmp/dfs/name/current/VERSION文件中），使其一致。

至于clusterID为什么和不一样：每次是使用format格式化hdfs集群时，会改变namenode 的clusterID，而不改变datanode的clusterID，这就导致了namenode和datanode间clusterID不一致，因而无法启动datanode。

也可以删除tmp文件之后重新分发，注意不管哪种方法都要重新分发

4.访问localhost:50070无法访问。
namenode初始化默认端口失效，于是决定手动修改配置文件设置默认端口hdfs-site.xml 添加如下：

<property>
  <name>dfs.http.address</name>
  <value>hadoop0:50070</value>
</property>