创建hadoop平台需要配置的网络策略和需要修改的配置文件

一、配置IP映射

每台虚机上vi /etc/hosts

 二、修改hadoop配置文件

1.集群搭建

配置Hadoop集群主节点，进入hadoop安装目录下的配置文件夹

cd /export/servers/hadoop-3.1.3/etc/hadoop

2.修改hadoop-env.sh文件（vi hadoop-env.sh）

export JAVA_HOME=/export/software/jdk

export HADOOP_HOME=/export/software/hadoop-3.1.3

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

3.修改core-site.xml文件（vi core-site.xml）

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://hadoop01:9000</value>

        </property>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/export/servers/hadoop-3.1.3/tmp</value>

        </property>

<property>

                       <name>hadoop.proxyuser.root.groups</name>

                       <value>root</value>

                </property>

<property>

                       <name>hadoop.proxyuser.root.hosts</name>

                       <value>*</value>

                </property>

</configuration>

4.修改hdfs-site.xml文件（vi hdfs-site.xml）

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>3</value>

        </property>

        <property>

                <name>dfs.namenode.secondary.http-address</name>

                <value>hadoop02:50090</value>

        </property>

</configuration>

5.修改mapred-site.xml文件（vi mapred-site.xml）

<configuration>

               <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

               </property>

</configuration>

6.修改yarn-site.xml文件（vi yarn-site.xml）

<configuration>

        <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>hadoop01</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

                <property>

                <name>yarn.nodemanager.env-whitelist</name>

                <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DIST

CACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

        </property>

            <property>

                <name>yarn.scheduler.minimum-allocation-mb</name>

                <value>512</value>

        </property>

            <property>

                <name>yarn.scheduler.maximum-allocation-mb</name>

                <value>2048</value>

        </property>

            <property>

                <name>yarn.nodemanager.resource.memory-mb</name>

                <value>2048</value>

        </property>

            <property>

                <name>yarn.nodemanager.pmem-check-enabled</name>

                <value>false</value>

        </property>

<property>

                <name>yarn.nodemanager.vmem-check-enabled</name>

                <value>false</value>

        </property>

</configuration>

7.修改workers文件（vi workers）

hadoop01

hadoop02

hadoop03

修改start-dfs.sh、stop-dfs.sh、start-yarn.sh、stop-yarn.sh文件

start-dfs.sh、stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh、stop-yarn.sh

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

8.将集群主节点的配置文件分发到其它子节点

9。scp /etc/profile hadoop02:/etc/profile

scp /etc/profile hadoop03:/etc/profile      学习靓点

在hadoop02和hadoop03上执行source /etc/profile

回到hadoop01执行以下命令：

scp -r /export/ hadoop02:/

scp -r /export/ hadoop03:/

三台服务器：

source /export/software/hadoop-3.1.3/etc/hadoop/hadoop-env.sh

Hadoop集群测试

初次启动HDFS集群时，必须对主节点进行格式化处理

格式化文件系统指令如下：

hdfs namenode -format

重新格式化，要把三台机器/export/servers/hadoop-3.1.3/tmp下的删除再格式化。

通过UI界面查看Hadoop运行状态

在C:\Windows\System32\drivers\etc\hosts文件中加上：

192.168.60.18 hadoop01

192.168.60.19 hadoop02

192.168.60.10 hadoop03

查看HDFS中是否有数据文件，默认是没有数据文件

http://hadoop01:9870