hadoop队列管理（指定queue跑程序）

最新推荐文章于 2024-02-15 21:42:05 发布
最新推荐文章于 2024-02-15 21:42:05 发布
阅读量2.7w 收藏 6
点赞数 1
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longshenlmj/article/details/39158927
版权
本文介绍了Hadoop升级至CDH5后，队列管理变为资源池分配的方式。在Hadoop 2.0中，采用平级队列组织，允许管理员将用户分配到多个队列并进行管理。为了有效分配资源，需要借助作业调度器。线上环境通常设置多个队列，如default, queue1, queue2和queue3。通过在代码中配置`mapred.job.queue.name`，可以指定队列运行程序。此外，配置`mapred.acls.enabled`等属性来控制提交作业和管理作业的权限。每个队列的资源量和其他信息则在其他配置文件中定义。" 132990910,20038166,2017年物联网中的Linux内核开发进展,"['物联网', 'Linux', '运维']
摘要由CSDN通过智能技术生成

hadoop 升级到cdh5后，队列管理被取消，而是统一用资源池分配。 





hadoop2.0版本，Hadoop采用了平级队列组织方式，，管理员可将用户分到若干个扁平队列中，在每个队列中，可指定一个或几个队列管理员管理这些用户，比如杀死任意用户的作业，修改任意用户作业的优先级。

但这还不够，需要将资源划分到这几个队列中，并按照一定的策略完成资源分配，这就需要Hadoop作业调度器的支持。

总

最低0.47元/天 解锁文章
longshenlmj
关注
专栏目录
Hadoop 权限管理.pdf
06-21
本文将详细介绍Hadoop中的权限管理机制，包括服务级别授权(Service Level Authorization)、作业队列访问控制(Access Control on Job Queues)以及文件系统权限控制(DFS Permission)。 #### 二、服务级别授权...
Hive--提交脚本参数选择
修行的博客
11-09 630
Hive提交脚本参数选择 -hivevar : 传参数 ，专门提供给用户自定义变量。 -hiveconf : 传参数，包括了hive-site.xml中配置的hive全局变量。 1）hiveconf hiveconf用于定义HIVE执行上下文的属性(配置参数)，可覆盖覆盖hive-site.xml（hive-default.xml）中的参数值，如用户执行目录、日志打印级别、执行队列等，常用的配置属性如下： 参数名称 和 参数解释 hive.metastore.warehouse.dir 启动时指定用户目录，
Hadoop 2.0 Queue
zlcd1988的专栏
05-13 3175
Hadoop 2.0 Queue setting 解析
hive设定hadoop执行队列
QQ1131221088的博客
01-20 1427
指定队列命令有如下三种： set mapred.job.queue.name=low; 一般是老版本 set mapreduce.job.queuename=high; 一般是新版本 set mapred.queue.names=mid; 具体是哪种？大家可以根据自己使用的版本自己测试一下。 ...
【Hadoop】如何给hadoop集群增加一个队列
2333333
02-15 766
在 Apache Hadoop 中，队列的概念通常与资源管理器（ResourceManager）和队列管理器（Queue Manager）相关联。ResourceManager 是 Hadoop 的一个关键组件，用于管理集群资源，并将这些资源分配给不同的应用程序。配置队列: 您需要编辑 Hadoop 的配置文件来定义队列。在这个文件中，您可以定义多个队列，并为每个队列分配资源配额、优先级等属性。在defult队列基础之上增加一个wa队列，修改完配置文件之后，需要重载配置文件。
kafka核心概念 message queue
最新发布
08-26
Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，而Jafka是在 Kafka之上孵化而来的，即Kafka的一个升级版。具有以下特性：快速持久化，可以在O(1)的系统开销下 进行消息持久化；高...
Hadoop-2.7.1分布式安装手册
11-14
可通过`yarn.scheduler.capacity.root.<queue>.capacity`配置队列容量。 7. MapReduce作业执行：JobHistoryServer记录作业历史，方便追踪和分析任务执行情况。`mapreduce.jobhistory.address`和`mapreduce.job...
【Hadoop】学习笔记（八）
lushixuan12345的博客
09-16 705
4.1、Yarn概述 4.2、Yarn工作机制 4.3、Yarn常用命令 4.4、Yarn生产环境核心配置参数 4.5、配置案例
Hive 在使用不同的执行引擎时设置作业的队列名的方法
houzhizhen的专栏
01-24 1180
不同的执行引擎设置队列名的方式不同。 当执行引擎为 mr 时 set hive.execution.engine=mr; set mapred.job.queue.name='queueName'; 当执行引擎为 tez 时 set hive.execution.engine=mr; set tez.queue.name='queueName';
hadoop mapred-queue-acls 配置
weixin_33800463的博客
05-22 187
hadoop作业提交时可以指定相应的队列，例如:-Dmapred.job.queue.name=queue2 通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不同的队列实现不同用户的提交权限. 先编辑mapred-site.xml，修改配置如下(增加四个队列): <property><name&g...
linux 远程执行 mapreduce,Hadoop 里执行 MapReduce 任务的几种常见方式
weixin_42412396的博客
05-06 347
说明：测试文件：echo -e "aa\tbb \tcc\nbb\tcc\tdd" > 3.txtHadoop fs -put 3.txt /tmp/3.txt全文的例子均以该文件做测试用例，统计单词出现的次数(WordCount)。1、原生态的方式：java 源码编译打包成jar包后，由 hadoop 脚本调度执行，举例：import java.io.IOException;import ...
HiveSQL运行优化参数配置
数据掘金
09-28 2814
执行任务时Map的任务数配置 执行任务时Map的任务数配置，即执行任务时，上图标红的，number of mappers: 1 的数量。 map的个数设置其实对执行效率有很大的影响： 如果mappers数量过多，map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的map数是受限的； 如果mappers数量过少，Hadoop的计算资源没有充分的利用，计算缓慢； map的个数主要的决定因素有： input的文件总个数，input的文件...
hive指定hadoop执行队列
weixin_30763455的博客
07-22 1650
指定队列的命令： 有三种： set mapred.job.queue.name=queue3; SET mapreduce.job.queuename=queue3; set mapred.queue.names=queue3; 老版本一般 mapred开头 新版本是mapreduce开头 老版本对应的新版本参数可以查出来 队列自己设定， 测试时注意 sele...
hive 使用
安静的码农
03-15 313
hive动态分区设置 set hive.exec.dynamic.partition=true;(可通过这个语句查看：set hive.exec.dynamic.partition;) set hive.exec.dynamic.partition.mode=nonstrict; SET hive.exec.max.dynamic.partitions=100000;(如果自动分区数大于这个参...
【Hive】使用Ambari修改 默认队列
康师傅没有眼泪
06-15 3045
Ambari 修改hive 默认的任务执行队列
hive 常用参数、参数优化
weixin_46028840的博客
11-01 929
tez.runtime.io.sort.mb：设置输出排序内存大小，默认100，建议：40%*hive.tez.container.size，一般不超过2G。开启hive.vectorized.execution.enabled操作，默认是关闭状态，将一个普通的查询转化为向量化查询执行是一个Hive 特性。Hive.exec.parallel.thread.num：默认8，最多并行的作业数量，即1个sql最多允许8个mr或tez作业并行。
Hadoop 设置任务执行的队列以及优先级和其他 配置
zhuzhen123zhuzhen的博客
03-18 389
作业提交到的队列：mapreduce.job.queuename 作业优先级：mapreduce.job.priority Pig版本： SET mapreduce.job.queuename root.etl.distcp; SET mapreduce.job.priority HIGH; Hive版本： SET mapreduce.job.queuename=root.etl.distcp; SET mapreduce.job.priority=HIGH; MapReduce版本： hadoop jar
Hadoop YARN资源管理与调度参数详解：队列访问与权限控制
另外，访问控制参数如acl-submit-applications和acl-administer-queue允许管理员对队列进行精细管理，仅授权特定用户或用户组提交应用程序或进行高级操作，如杀死应用程序，这增强了安全性。 限制应用程序数量的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值