hadoop队列管理（指定queue跑程序）

最新推荐文章于 2024-02-15 21:42:05 发布
VIP文章 最新推荐文章于 2024-02-15 21:42:05 发布
阅读量2.7w 收藏 6
点赞数 1
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longshenlmj/article/details/39158927
版权

hadoop 升级到cdh5后，队列管理被取消，而是统一用资源池分配。 





hadoop2.0版本，Hadoop采用了平级队列组织方式，，管理员可将用户分到若干个扁平队列中，在每个队列中，可指定一个或几个队列管理员管理这些用户，比如杀死任意用户的作业，修改任意用户作业的优先级。

但这还不够，需要将资源划分到这几个队列中，并按照一定的策略完成资源分配，这就需要Hadoop作业调度器的支持。

总

最低0.47元/天 解锁文章
longshenlmj
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ZooKeeper实现分布式队列Queue
03-03
现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配置如果简单地放几个web应用，显然是奢侈的浪费。就算是用来实现单节点的hadoop，对计算资源浪费也是非常高的。对于这么高性能的计算机，如何有效利用计算资源，就成为成本控制的一项重要议题了。通过虚拟化技术，我们可以将一台服务器，拆分成12台VPS，每台2核CPU，4G内存，40G硬盘，并且支持资源重新分配。多么伟大的技术啊！现在我们有了12个节点的hadoop集群，让Hadoop跑在云端，让世界加速。ZooKeeper是一个分步式的协作系统，何为协作，ZooKeeper价值又有何
Hadoop 2.0 Queue
zlcd1988的专栏
05-13 3146
Hadoop 2.0 Queue setting 解析
【Hadoop】如何给hadoop集群增加一个队列
最新发布
风是自由的，你也是。
02-15 670
在 Apache Hadoop 中，队列的概念通常与资源管理器（ResourceManager）和队列管理器（Queue Manager）相关联。ResourceManager 是 Hadoop 的一个关键组件，用于管理集群资源，并将这些资源分配给不同的应用程序。配置队列: 您需要编辑 Hadoop 的配置文件来定义队列。在这个文件中，您可以定义多个队列，并为每个队列分配资源配额、优先级等属性。在defult队列基础之上增加一个wa队列，修改完配置文件之后，需要重载配置文件。
Hive--提交脚本参数选择
修行的博客
11-09 599
Hive提交脚本参数选择 -hivevar : 传参数 ，专门提供给用户自定义变量。 -hiveconf : 传参数，包括了hive-site.xml中配置的hive全局变量。 1）hiveconf hiveconf用于定义HIVE执行上下文的属性(配置参数)，可覆盖覆盖hive-site.xml（hive-default.xml）中的参数值，如用户执行目录、日志打印级别、执行队列等，常用的配置属性如下： 参数名称 和 参数解释 hive.metastore.warehouse.dir 启动时指定用户目录，
【Hadoop】学习笔记（八）
lushixuan12345的博客
09-16 653
4.1、Yarn概述 4.2、Yarn工作机制 4.3、Yarn常用命令 4.4、Yarn生产环境核心配置参数 4.5、配置案例
hadoop mapred-queue-acls 配置
weixin_33800463的博客
05-22 177
hadoop作业提交时可以指定相应的队列，例如:-Dmapred.job.queue.name=queue2 通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不同的队列实现不同用户的提交权限. 先编辑mapred-site.xml，修改配置如下(增加四个队列): <property><name&g...
Hive 在使用不同的执行引擎时设置作业的队列名的方法
houzhizhen的专栏
01-24 1035
不同的执行引擎设置队列名的方式不同。 当执行引擎为 mr 时 set hive.execution.engine=mr; set mapred.job.queue.name='queueName'; 当执行引擎为 tez 时 set hive.execution.engine=mr; set tez.queue.name='queueName';
hive设定hadoop执行队列
QQ1131221088的博客
01-20 1360
指定队列命令有如下三种： set mapred.job.queue.name=low; 一般是老版本 set mapreduce.job.queuename=high; 一般是新版本 set mapred.queue.names=mid; 具体是哪种？大家可以根据自己使用的版本自己测试一下。 ...
Hive入门及常用指令
Jack_LI的博客
07-30 1940
Hive 最近在公司实习，对hive进行了学习，做了些整理的笔记。 基础命令 show databases; # 查看某个数据库 use 数据库; # 进入某个数据库 show tables; # 展示所有表 desc 表名; # 显示表结构 show partition...
Hadoop 管理
02-07
Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理
Hadoop的数据管理
03-02
前面重点介绍了Hadoop及其体系结构和计算模型MapReduce，现在开始介绍Hadoop的数据管理，主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive的数据管理。HDFS是分布式计算的存储基石，Hadoop...
用python+hadoopstreaming编写分布式程序
02-26
什么是Hadoop？Google为自己的业务需要提出了编程模型MapReduce和分布式文件系统GoogleFileSystem，并发布了相关论文（可在GoogleResearch的网站上获得：GFS、MapReduce）。DougCutting和MikeCafarella在开发搜索...
Hadoop集群安装 (5) 配置job queue_conf/mapred-queues.xml
amao992的专栏
01-09 4545
0.总体 (0)job queue的设置和scheduler密切相关 1) scheduler的配置见 conf/mapred-site.xml中的mapreduce.jobtracker.taskscheduler  2) Fairshare不支持queue Fairshare scheduler, implement th
hadoop里的yarn的资源队列怎么配置
maoyikun的博客
04-14 504
在YARN中,资源队列(Queue)用于对集群资源(内存、CPU等)进行分配和管理。我们可以通过配置yarn-site.xml来设置YARN的队列信息。
【Hadoop】YARN多资源队列配置及使用实践
ccql's Blog
01-31 1963
由于MapReduce默认采用Capacity Scheduler（详见），因此理论上可以存在多个队列，而默认只有一个队列（default），现有需求：额外创建两个队列分别为online和offline，将这三个队列的资源分别分配为70%、10%、20%，且允许在资源不足时借用其他队列的资源，但最多不能超过70%（online队列里面运行实时任务，offline队列里面运行离线任务，MapReduce属于离线任务），最后将WordCount任务提交到offline队列执行。
sqoop -D 指定资源池（ mapred.job.queue.name=root.myqueue）或者（ mapred.job.queuename=root.myqueue）
weixin_38655836的博客
04-13 5866
sqoop import -D mapred.job.queue.name=root.myqueue –connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase –username jsz –password 123456 ...
oozie调度阻塞问题
朱金华的专栏
07-01 3440
讲个前段时间遇到的问题，项目中用到的spark on yarn基于oozie进行应用的编排调度，oozie支持fork/join机制，就是可以在fork之后可以分出多个分支用于调度其他action，对我们来说就是调用多个spark应用。但遇到的现象是明明有很多内存空闲，可这些spark却全都是在Accept状态，不能被调度执行。 要分析这个问题，得先从oozie的调度机制说起。 oozie...
hive 指定一个队列执行的参数名称
06-08
在 Hive 中，可以通过设置参数 `mapred.job.queue.name` 来指定一个任务执行的队列。具体的设置方式如下： 1. 在 Hive 命令行界面或者 Hive 脚本中，使用 `SET` 命令来设置该参数，例如： ``` SET mapred.job....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值