花了半天时间标准化的又搭了一遍Hadoop三模式，记录下心得

本文链接：https://blog.csdn.net/qq_43437122/article/details/106460141

1. 本地模式总结

无论搭建那种模式，首先必备的是准备虚拟机，所以在搭建本地模式之前肯定要先准备一台机器就行，对于准备虚拟机有这几步：

（1）修改主机名：

修改文件在 "/etc/sysconfig/network" 目录下，加入对应的内容即可，注意主机名后面别不小心输入了一个空格，这是错误的。然后就是CentOS7 和 CentOS6 的区别了，很多学生现在都是在用7，但是学的视频里面很多老师是用的6操作的。对于二者，区别是在7中你修改完主机名之后，你要配置主机IP映射关系（在/etc/hosts文件里面设置），否则主机名仍为localhost。而6就不需要再修改主机IP映射文件，当然你修改了也没事。

（2）配置静态IP

关于静态IP的设置，可能最大的问题就是你设置完静态IP后不能上网了，其主要原因还是由于网关的问题。因为网关是你连接万维网的“中间人”，所以一定不能弄错。参考这篇博客就行（不是打广告）：https://blog.csdn.net/qq_43437122/article/details/105907950

（3）关闭防火墙

防火墙没啥说的，你设置为不随开机启动就行，也即是执行下（注意是CentOS7）“systemctl disable firewalld”

（4）创建hadoop用户，并赋予root操作权限

这个不会就去百度。

准备好机器后就要考虑Hadoop、JDK的存储位置了。建议是在opt目录下创建module目录（安装路径）和software目录（存放软件包），把原来的rh目录删除，并且将这两个目录的所属用户和所属组改为hadoop。然后就是安装配置环境变量，easy！本地模式不用改任何配置文件，也不用格式化nn，直接在本地跑mr测试即可，它所存在的意义也就是调试方便。

2. 伪分布模式

相比较本地模式，除了准备一台机器外，还需要配置配置文件，格式化nn...。配置文件的配置内容不必刻意去记，你知道在官网和jar包里面能找到就行，知道要配置那几个文件就可以了。格式化就是执行“hdfs namenode -format”命令，如果格式化失败了，别急，就去看日志，日志会告诉你。成功之后，启动HDFS和yarn可以练习练习命令，跑跑mr，此时的mr是运行在yarn上的。几个端口号注意下，一个是50070 HDFS系统的端口号，还有一个是8088 Yarn的端口号。

在伪分布式阶段，还可以设置历史服务器用来查看你运行过的job情况，还可以配置日志的聚集，程序运行完之后会把日志上传到HDFS上，方便查看程序的运行详情。服务器的web端口为19888。

3. 完全分布式

建议你拷贝之前搭建的伪分布式机器，至少拷贝三台机器。三台机器你要重新配置静态IP和主机名，关于静态IP的配置：如果你是CentOS7的话，直接修改网卡配置文件里面的IP地址即可，当然你要想重新为网卡生成一个UUID也可以。对于CentOS6，它在拷贝之后会记录之前机器的网卡信息，你需要先进入到“/etc/udev/rules.d/70...直接table就行”文件，删掉之前网卡的信息（第一条就是），然后再将新生成的信息的网卡名改为eth0，并复制它的UUID，然后进入到网卡配置文件，先覆盖掉原来的网卡的UUID，然后在修改IP即可。

然后就是三台机器你要规划好，例如nn和2nn是不能放在一台机器上的，因为他两是平分资源，如果在一台机器上，那NameNode的磁盘空间就只有当前机器的一半，当然不行。resourcemanager也要单独放在一台机器上，和他们两个分开，因为它也比较耗费资源，重点是之后你在启动yarn的时候要在resourcemanager所在的机器上启动。