大数据-Linux下hadoop集群的配置及搭建

说明：本篇文章只会介绍搭建hadoop集群比较核心的部分，hdfs、yarn和mapreduce部分。
介绍：
（1）版本是hadoop3.X版本。
（2）JDK选择的是jdk1.8版本。
（3）由于是用于学习的，所以搭建的是最小的集群（3台机器）。
（4）步骤基本是固定的，特别的某些步骤可能会因为版本的区别有变化，请对应实际修改。
步骤：
（1）搭建虚拟机（另外文章有介绍）
（2）确定hostname（我的node01是作为“主节点”，还有两个“从节点”分别是node02和node03），这里看到我已经是修改好了的。如果是刚从第一台机器克隆完另外两台，没做修改的话（克隆的时候可以修改），在另外的机器敲hostname命令显示的也是node01，这里我们就要用命令进行修改。



然后reboot生效。
（3）设置网络

看到为了保证虚拟机主键和主机之间的连接应该选择的是桥接网卡的模式。
设置之后可以使用三台机器互相ping一下对方的ip（ifconfig查看ip）是否能ping通。
再ping一下www.baidu.com外网看是否额能ping通。
注意： 这里的ip如果没固定的话每次会重新获取，所以要固定每台机器的ip地址。
（4）设置/etc/hosts
目的:通过名字让机器之间相互访问，就不需要每次获取ip
1、先记住每台机器的名字和ip。



2、通过命令进行设置，每台都要设置。


3、测试一下，互相ping一下名字看是否能ping通。

（5）安全方面的设置，每台机器都要设置。
1、目的是防止后面网络方面出错。查看当前防火墙的状态。

2、关闭防火墙

3、从服务里面也关闭防火墙，防止每次开机自己启动。