使用伪分布式搭建hadoop集群

一、先准备需要的工具包

二、配置基础环境
1、使用CRT工具上传hadoop包
2、将hadoop安装上传压缩 tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module
3、配置环境变量vi /etc/profile，重新加载/etc/profile，使配置生效source /etc/profile
4、输入hadoop，java查看配置是否生效

三、Hadoop的配置
1、进入hadoop-2.7.1的配置目录： cd opt/module/hadoop-2.7.3/etc/hadoop/
依次配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。
这里的mapred-site.xml需要从mapred-site.xml.template复制过去。
配置如下：
在与之间添加如下property：
①core-site.xml

fs.defaultFS hdfs://zwb:9000 hadoop.tmp.dir /opt/module/hadoop-2.7.3/tmp

②hdfs-site.xml

dfs.replication 1 dfs.namenode.secondary.http-address zwb:50090

③mapred-site.xml(该配置文件不存在，先复制)
cp mapred-site.xml.template mapred-site.xml

mapreduce.framework.name yarn

④yarn-site.xml

yarn.resourcemanager.hostname zwb yarn.nodemanager.aux-services mapreduce_shuffle

四、配置host
1、vi /etc/hosts ：添加自己的ip和主机名
2、vi /etc/hostname：修改主机名
3、重启：reboot

五、格式化
hdfs namenode -format （如果不是第一次格式化，格式化之前先删除/opt/module/hadoop-2.7.3/下面的tmp、logs两个目录）

六、启动
start-all.sh （如果启动之前已经启动过，启动之前先停止stop-all.sh）(启动记得关闭防火墙)
查看伪分布式配置是否成功：执行jps，如下图所示，NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动，伪分布式配置成功。

七、检验
通过浏览器访问：192.168.21.10：50070、192.168.21.10：8088，如果成功进入，说明启动成功