Hadoop完全分布式集群搭建步骤

此文档仅供参考！！！

一、网络配置器修改

【编辑器】-【虚拟网络编辑器】-【vmnet8】
勾选“使用本地DHCP服务……虚拟机（D）”；子网改为192.168.121.0；DHCP设置为：起始IP地址：192.168.121.128，结束IP地址：192.168.121.254；NAT设置：网关IP：192.168.121.2。
注意：此地方可忽略，需注意子网前三位，虚拟网络编辑器的子网前三位是什么，ip，网关的前三位就是什么！！！

二、虚拟机创建及相关文件配置

1.安装操作系统：software selection（virtualization host）
创建三个文件夹（/export/servers、data、software）

创建servers：mkdir -p /export/servers
进入export文件夹：cd /export
创建data：mkdir data
创建software：mkdir software
查看：ls

2.修改主机名：hostnamectl set-hostname 主机名(hadoop01/02/03)（三台都做）
查看主机名：hostname
3.查看IP：ifconfig
修改网卡信息vim /etc/sysconfig/network-scripts/ifcfg-e…(table键)

修改如下配置

dhcp---static;
Ipv6init=”no”
HWADDR=mac地址
IPADDR=IP地址
GATEWAY=192.168.121.2
NETMASK=255.255.255.0
DNS1=8.8.8.8

重启网卡：systemctl restart network
4.配置主机名和IP映射：vim /etc/hosts

IP地址 主机名1
IP地址 主机名2
IP地址 主机名3

5.克隆虚拟机：
从第一台完成了网卡信息配置和IP映射的虚拟机进行克隆（完整克隆），修改主机名、IP地址和Mac地址
6.使用CRT连接每台虚拟机，并进行ssh免密设置
创建公钥：ssh-keygen -t rsa
将公钥发送至其他虚拟机：ssh-copy-id 主机名（对自己对其他都要做）
7.使用FX上传jdk，hadoop至/export/software
使用tar将以上文件解压至/export/servers文件夹下（将jdk改名）
命令：tar -zvxf 压缩包名 -C 解压目录

三、文件配置

1.环境变量配置:vim /etc/profile
【编写如下配置：

# jdk
export JAVA_HOME=jdk文件存放目录
export PATH=$PATH:$JAVA_HOME/bin
# Hadoop
export HADOOP_HOME=Hadoop文件存放目录
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

完成后使用source /etc/profile更新配置文件，可使用java -version和hadoop version查看jdk和Hadoop版本信息，出现版本信息则配置文件配配置成功

2.配置Hadoop的配置文件
进入cd /export/servers/hadoop-2.7.4/etc/hadoop(所有Hadoop配置文件均在在此目录下）
（1）vim hadoop-env.sh(此文件只需找到修改即可）

export JAVA_HOME=jdk安装目录

2.修改core-site.xml 文件
[root@hadoop01 hadoop-2.7.4]#
[root@hadoop01 hadoop]# vi core-site.xml

		<property>
           <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/servers/hadoop-2.7.4/tmp</value>
        </property>

注意：hadoop版本视实际情况而定
3.修改hdfs-site.xml文件
[root@hadoop01 hadoop]# vi hdfs-site.xml

		<property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop02:50090</value>
        </property>

4.修改mapred-site.xml文件
先cp mapred-site.xml.template mapred-site.xml
[root@hadoop01 hadoop]# vi mapred-site.xml

		<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

5.修改yarn-site.xml文件
[root@hadoop01 hadoop]# vi yarn-site.xml

		<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

6.修改slaves文件
[root@hadoop01 hadoop]# vi slaves

hadoop01
hadoop02
hadoop03

以上配置完成后开始分发文件

四，分发文件

scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /export/ hadoop02:/
scp -r /export/ hadoop03:/

以上步骤完成后，到Hadoop02，Hadoop03上生效配置文件source /etc/profile

五，启动集群

(1),格式化主节点
(两者选其一）hdfs namenode -format 或者hadoop namenode -format
看到 has been successfully formatted. 一般为格式化成功
（2），开启服务 start-dfs.sh ;start-yarn.sh

完成后可看到节点分布为hadoop01:5个，hadoop02:4个，hadoop03:3个
节点分布为：
hadoop01:

13329 NameNode
13985 NodeManager
44914 Jps
13707 ResourceManager
13455 DataNode

hadoop02:

13145 NodeManager
12971 DataNode
13067 SecondaryNameNode
13228 Jps

hadoop03:

2576 NodeManager
2467 DataNode
2680 Jps