hadoop之yarn

一:调度器总结

在这里插入图片描述
目前,Hadoop作业调度器主要有三种:FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。
具体设置详见:yarn-default.xml文件

<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

既然容器调度是默认的,那就在这里说一说容量调度器,
1:它支持多个队列,每个队列都配备一定的资源量,每个对列都采用FIFO调度策略
2:为了避免同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要配置HadoopYARN,您可以按照以下步骤进行操作: 1. 打开Hadoop安装目录,并进入到`etc/hadoop`目录中。 2. 打开`yarn-site.xml`文件,它是YARN的配置文件。 3. 在`yarn-site.xml`文件中,您可以设置一些关键属性,如下所示: - `yarn.resourcemanager.hostname`:指定YARN资源管理的主机名。 - `yarn.nodemanager.aux-services`:指定YARN节点管理的辅助服务,多个服务之间用逗号分隔。 - `yarn.nodemanager.aux-services.<service-name>.class`:指定辅助服务的实现类。 - `yarn.nodemanager.resource.memory-mb`:指定每个节点管理可用的最大内存量。 - `yarn.nodemanager.resource.cpu-vcores`:指定每个节点管理可用的最大CPU核数。 4. 保存并关闭`yarn-site.xml`文件。 5. 打开`mapred-site.xml`文件,它是MapReduce的配置文件。 6. 在`mapred-site.xml`文件中,可以配置一些与YARN相关的属性,如下所示: - `mapreduce.framework.name`:设置MapReduce框架使用的资源管理,默认为`yarn`。 - `mapreduce.jobhistory.address`:指定Job历史服务的主机名和端口号。 - `mapreduce.jobhistory.webapp.address`:指定Job历史服务的Web界面的主机名和端口号。 7. 保存并关闭`mapred-site.xml`文件。 8. 您还可以根据需要配置其他HadoopYARN相关的属性,如`core-site.xml`和`hdfs-site.xml`等。 9. 配置完成后,重新启动Hadoop集群,使配置生效。 这些步骤将帮助您配置HadoopYARN。请确保根据您的需求正确设置各个属性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值