handoop配置集成环境

  第一次配置Hadoop集群，毫无经验，从下午两点一直配置到网上11点半，反复来回的重装虚拟机，由于是超超新手，很多东西不熟练，也有很多东西理解的不是很透彻，总结以下几点，第一希望可以帮助的跟我一样的新手，第二就是加深一下自己的记忆。

第一点：

出现这种错误的时候，要从这几个方面来考虑：首先查看自己的作为datacode的虚拟机机器的主机名是否和Ip映射配置是否正确，主机名要和IP一一对应，在/etc/hosts文件中；然后就是查看防火墙是否关闭，最就是查看在slaves文件中是否把datacode的主机名是否填进去（这里显示的就是你填入的主机名），我范的错误是在slaves文件中填的是slave，而datacode的名字叫做是slave1，因此，无法解析主机名slave。

第二点：Hadoop NodeManager无法启动

NodeManager无法启动的问题，刚开始没有头绪，在查几篇资料后，了解可能是给这个yarn.nodemanager.aux-services 可能是这个属性的值写错，正确的写法如下图

我把下划线”_”写成了”-”.(有关于 NodeManager的配置都在yarn-site.xml文件中)

第三点 配置文件时要注意的事项

这里的Master都是时主机名，及你设的主机名教什么，这里就填什么，如这里你叫master1，你就的填hdfs：//master1：9000.

第四点，关于虚拟机网络的问题

右上角有这个才显示有网，没有的点击，即可设置出来。

第五点 报错WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform

这个是借助了大佬的方法，地址如下：https://blog.csdn.net/weixin_42294060/article/details/102827794?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158359820319726869014722%2522%252C%2522scm%2522%253A%252220140713.130056874..%2522%257D&request_id=158359820319726869014722&biz_id=0&utm_source=distribute.pc_search_result.none-task

第六点 配置环境时常用的Linux命令

1.关于防火强

查看防火墙的状态的命令为：

sudo systemctl status firewalld

打开防火墙的方式有两种，一种是打开后重启会恢复回原来的状态，命令为：

sudo systemctl start firewalld

另一种是打开后重启不会恢复到原来的状态，命令为：

sudo systemctl enable firewalld

这种方式输入命令后要重启系统才会生效。

关闭防火墙的方式也有两种，和打开相对应，命令分别为

sudo systemctl stop firewalld

sudo systemctl disable firewalld

2.另一台机器发文件

注释：scp  -r  所发文件的地址  目标机器的主机名：所发向的地址

第七点 我是按照林子雨老师的教程来的

伪分布式链接:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/#more-190

集群链接：http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/