《Hadoop与大数据挖掘》一2.2 Hadoop配置及IDE配置

本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ，第2.2节，张良均　樊　哲　位文超　刘名军 许国杰　周　龙　焦正升　著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2　Hadoop配置及IDE配置

2.2.1　准备工作
相关软件及版本如表2-1所示。
在安装配置Hadoop集群前，需要先准备需要的机器。按照下面的顺序配置相关机器：
1）新建虚拟机master，安装Linux系统（本书使用的是CentOS 6.7 64位）；
2）配置固定IP；
3）关闭防火墙；
4）安装必要软件；
5）克隆master到slave1、slave2、slave3；
6）修改slave1～slave3的IP，改为固定IP。

虚拟机参数配置如下。
1）master：1.5G～2G内存、20G硬盘、NAT、1～2核
2）slave1～slave3：1G内存、20G硬盘、NAT、1核

上面的虚拟机参数配置只是参考，可以根据自身机器的实际情况进行调整。

在配置好Hadoop集群所需机器后，先确认下集群拓扑，本次部署采用的集群拓扑如图2-16所示。

如文中未做说明，则所有操作都是在root用户下执行。但是，在生产环节，一般不会使用root用户，这点需要注意。