Mac docker配置hadoop集群遇到的一些问题

概要

续接上篇Mac下docker容器配置hadoop集群，虽然成功启动集群了，web网页也可以查看了，但是跟着网课发现第一个小测试就爆出好几个毛病，刚开始尝试上传文件到hdfs远程服务器上还是没啥问题滴，下面就开始遇到问题了，在这里记录一下问题和解决方法～

上传至hdfs页面无法查看/下载文件 提示Couldn’t preview the file xxxx

这个问题一第一次上传就遇到了，一顿搜下来发现是hosts主机名里没有配置服务器的ip 和 名称。但是我明明配置了呀，结果正想验证一波结果发现etc/hosts里居然修改的ip和主机名消失了，一查发现这个hosts是临时文件，每次启动docker容器都要重新修改。。。。没办法了，只能再导出为镜像然后新run一个容器挂载容器卷，在宿主机创建一个目录里面新建一个hosts.container配置文件，这样挂载上之后容器里etc/hosts文件就自动替换了。
PS：需要注意如果是重新run的容器相当于新容器了，对于网络这一块的配置需要重新再配一遍“宿主机ping容器”，“容器之间互ping”，并且新run的容器ip也会改变哈，这个小细节需要注意，具体操作见我前两篇文章。

挂载后可以查看hdfs服务器上传的文件了，成功！

启动hadoop自带jar包hadoop-mapreduce-examples-3.4.0.jar wordcount命令报错 failed with state FAILED due to: Application application_xxxxx failed 2 times due to AM Container for appattempt_xxxxx exited with exitCode: 1

这里爆的新问题把我搞懵了，属于是猪脑过载，网上有人说看yarn日志能看出问题，我看了半天也没懂问题出在哪里，然后我细看下面还有提示“Please check whether your <HADOOP_HOME>/etc/hadoop/mapred-site.xml contains the below configuration:”要我查看我mapred-site.xml配置文件里面是不是没配下面三个property，然后我特意去搜“full path of your hadoop distribution directory”那三个property缺的路径是啥路径 然后网上说是hadoop classpath，这里直接执行会得到一大串类似环境变量echo $PATH得到的那一串路径（如图👇）

把这个路径替换三个full path of your hadoop distribution directory，更新mapred-site.xml文件然后记得使用xsync脚本分发一下 让三台服务器都更新一遍。

然后重新启动集群start-all.sh，运行wordcount方法。


成功！！！