部署Hadoop伪分布式集群


实验:部署Hadoop伪分布式集群

开始部署之前,我们要先向虚拟机里导入安装包,进行解压安装,配置好JDK,Hadoop,之后,进入关键步骤:

1、新建文件,存放jdk和hadoop,方便后面管理:

 

2、查看文件存放路径,方便后面配置jdk和hadoop的环境:

 

3、配置好环境,检测其是否完成:

 

4、容易搞忘记的点是在安装部署hadoop 伪分布式集群时,所处的路径和目录,要在第一个红色框里的目录下才可进行:

 

5、一下几个文件输入相应内容:

               

 

配置:vi core-site.xml

 

配置:vi hdfs-site.xml

 

配置:vim mapred-site.xml

 

配置:vi  yarn-site.xml

 

workers也需要配置。

 

6、格式化HDFS:

 

7、格式化成功:

 

8、重启即可:

 

注意,开始之前配置IP地址,永久关闭防火墙,配置免密钥。

9、在浏览器里搜索(出现以下截图即可):

 

 

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hadoop分布式集群部署主要涉及以下几个步骤: 1. 准备环境:首先确保所有节点都满足Hadoop的硬件和软件要求。每个节点应该有足够的磁盘空间和内存,并且安装了相应的操作系统和Java运行时环境。 2. 配置SSH免密登录:为了方便集群节点之间的通信,需要配置SSH免密登录。这样可以在不需要密码的情况下远程登录到其他节点。 3. 安装Hadoop:在所有节点上安装Hadoop软件包。可以从Apache Hadoop官方网站下载最新版本的二进制包,并解压到每个节点的相同目录下。 4. 配置Hadoop:编辑Hadoop的配置文件,包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。这些配置文件定义了Hadoop的各种参数,如文件系统路径、副本数量、任务调度器等。 5. 设置主从关系:在集群中选择一个节点作为主节点(通常是NameNode),其他节点作为从节点(通常是DataNode)。主节点负责管理文件系统和任务调度,从节点负责存储数据和执行任务。 6. 启动Hadoop集群:首先启动主节点上的Hadoop服务,包括NameNode、ResourceManager和JobHistoryServer。然后按顺序启动从节点上的Hadoop服务,包括DataNode和NodeManager。 7. 验证集群:使用Hadoop提供的命令行工具,如hdfs dfs、yarn和mapred,验证集群是否正常工作。可以上传文件到HDFS、提交MapReduce作业并查看作业状态。 这些步骤只是一个基本的概述,具体的部署过程可能因为不同的操作系统、Hadoop版本和集群规模而有所不同。在部署过程中,建议参考Hadoop官方文档和其他相关资源,以获得更详细的指导和最佳实践。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨染盛夏呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值