yarn集群搭建以及任务提交---官方文档的使用

本文档详细介绍了如何根据Apache Hadoop的官方文档搭建YARN集群,包括单节点和集群配置。首先,通过配置mapred-site.xml和yarn-site.xml文件进行单节点设置,并使用start-yarn.sh启动。接着,提到了集群配置的链接,强调YARN与HDFS是独立的,可以单独启动。最后,提到了ResourceManager和NameNode的Web管理页面以及任务提交的相关信息。
摘要由CSDN通过智能技术生成

关于集群的搭建,其实就是说明书的使用问题,会用说明书,很简单,不会用说明书,只能去参考别人的智慧,针对这个情况,对于yarn的搭建,我就把官方文档的相关文档拿出来进行搭建
1、打开官方网址

hadoop.apache.org

2、选择属于自己的hadoop版本,能看懂的直接看英文,看不懂的也可以借助浏览器的翻译功能,就会有下面的这样一个页面
在这里插入图片描述
根据官方文档,我们知道,hadoop的设置分为单节点以及集群设置,一步步的来

首先是单节点的设置
1、在这里插入图片描述
单节点上的yarn配置,点击链接,我们会看到
在这里插入图片描述
它提示说:
您可以通过设置一些参数并另外运行ResourceManager守护程序和NodeManager守护程序,以伪分布式模式在YARN上运行MapReduce作业。
那找到如何配置的位置了,接下来就是配置相应的文件了,单节点的yarn的配置是非常简单的,在hadoop的/etc/hadoop目录下,找到对应的mapred-site.x

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值