在虚拟机上搭建Hadoop集群

cd /usr/software/
通过xshell把tar包拖进来
tar -zxvf hadoop-2.7.3.tar.gz
rm -rf hadoop-2.7.3.tar.gz
cd hadoop-2.7.3/etc/hadoop/
vi hadoop-env.sh
找到并修改：export JAVA_HOME=/usr/software/jdk1.8.0_181

vi core-site.xml
在configuration的标签中间添加：
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadptmp/</value>
</property>
<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>

vi hdfs-site.xml
在configuration的标签中间添加：
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>

先做更名操作：
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在configuration的标签中间添加：
<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

vi yarn-site.xml
在configuration的标签中间添加：
 <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

vi slaves
删除里面的localhost，然后添加：
slave1
slave2

把配置好的hadoop远程拷贝给其他主机：
cd /usr/software/
scp -r hadoop-2.7.3 slave1:$PWD
scp -r hadoop-2.7.3 slave2:$PWD

配置环境变量，三台机器都要做。
在最后插入：
export HADOOP_HOME=/usr/software/hadoop-2.7.3/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出完，重新加载环境变量。
source /etc/profile

初始化集群，有且仅在master机器上初始化一次。以后开启的时候，就不要初始化了。
hadoop namenode -format
如果初始化成功，会出现Storage directory /root/hadptmp/dfs/name has been successfully formatted.
如果初始化失败，就看人家的提示，大多数情况，都是配置文件有问题。

开启集群：
单独开启HDFS：start-dfs.sh
开启HDFS和Yarn：start-all.sh

验证：在三台机器上分别输入jps
在master节点出现：
16964 SecondaryNameNode
17115 ResourceManager
16781 NameNode
17375 Jps

在slave1和slave2上出现：
16593 NodeManager
16698 Jps
16495 DataNode

或者通过web界面进行查看：
IP地址:50070