使用伪分布式搭建hadoop集群

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/sasa5623/article/details/90441852

一、先准备需要的工具包在这里插入图片描述在这里插入图片描述
在这里插入图片描述
二、配置基础环境
1、使用CRT工具上传hadoop包
2、将hadoop安装上传压缩 tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module
3、配置环境变量vi /etc/profile,重新加载/etc/profile,使配置生效source /etc/profile
4、输入hadoop,java查看配置是否生效

三、Hadoop的配置
1、进入hadoop-2.7.1的配置目录: cd opt/module/hadoop-2.7.3/etc/hadoop/
依次配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。
这里的mapred-site.xml需要从mapred-site.xml.template复制过去。
配置如下:
在与之间添加如下property:
①core-site.xml

fs.defaultFS hdfs://zwb:9000 hadoop.tmp.dir /opt/module/hadoop-2.7.3/tmp

②hdfs-site.xml

dfs.replication 1 dfs.namenode.secondary.http-address zwb:50090

③mapred-site.xml(该配置文件不存在,先复制)
cp mapred-site.xml.template mapred-site.xml

mapreduce.framework.name yarn

④yarn-site.xml

yarn.resourcemanager.hostname zwb yarn.nodemanager.aux-services mapreduce_shuffle

四、配置host
1、vi /etc/hosts :添加自己的ip和主机名
2、vi /etc/hostname:修改主机名
3、重启:reboot

五、格式化
hdfs namenode -format (如果不是第一次格式化,格式化之前先删除/opt/module/hadoop-2.7.3/下面的tmp、logs两个目录)

六、启动
start-all.sh (如果启动之前已经启动过,启动之前先停止stop-all.sh)(启动记得关闭防火墙)
查看伪分布式配置是否成功:执行jps,如下图所示,NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动,伪分布式配置成功。

七、检验
通过浏览器访问:192.168.21.10:50070、192.168.21.10:8088,如果成功进入,说明启动成功

展开阅读全文

没有更多推荐了,返回首页