hadoop执行命令行命令时指定队列名称

最新推荐文章于 2023-01-31 23:49:42 发布

小手追梦

最新推荐文章于 2023-01-31 23:49:42 发布

阅读量945

点赞数

分类专栏： hadoop实战

本文链接：https://blog.csdn.net/epitomizelu/article/details/117181929

版权

hadoop实战专栏收录该内容

137 篇文章 6 订阅

订阅专栏

hadoop archive -Dmapred.job.queue.name=prod -archiveName config.har -p /hadoopconfig/ /output/archive

如果时提交mapreduce任务，我试过在命令行各种加参数都不行，在代码加就有效

conf.set("mapreduce.job.queuename", "prod");

yarn提交job设置参数无效问题

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小手追梦

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hadoop20：【案例】YARN多资源队列配置和使用

weixin_40612128的博客

03-03

2321

案例：YARN多资源队列配置和使用我们的需求是这样的，希望增加2个队列，一个是online队列，一个是offline队列然后向offline队列中提交一个mapreduce任务 online队列里面运行实时任务 offline队列里面运行离线任务，我们现在学习的mapreduce就属于离线任务实时任务我们后面会学习，等讲到了再具体分析。这两个队列其实也是我们公司中最开始分配的队列，不过随着后期集群规模的扩大和业务需求的增加，后期又增加了多个队列。在这里我们先增加这2个队列，后期再增加多个也是一样的

【HDFS】Hadoop分布式文件系统

starlywang的博客

03-14

631

【HDFS】Hadoop分布式文件系统一、总体介绍二、架构1. 名称节点(NameNode)2. 镜像和日志（Image and Journal）3. 数据节点（DataNodes）4. HDFS客户端5. Checkpoint节点6. 备份节点（BackupNode）7. 升级和文件系统快照三、文件IO操作和副本管理1. 文件读写2. Block块放置3. 复制管理4. 均衡器5. Block...

参与评论您还未登录，请先登录后发表或查看评论

hadoop-yarn设置任务队列为capa

别人笑我太疯癫，我笑他人看不穿。

01-18

2283

Yarn的调度队列类型有三种，分别是fifo(默认队列)、fair(公平队列)、capa(容器队列) 三种调度队列的区别如下默认队列，在测试环境下使用，它本质上是单一的一条任务队列，有着所有任务按照提交顺序先进先出的特性，好处在于无需配置，使用简单，容易理解，缺点在于所有任务在统一队列中，每次执行一个任务，任务如果太大会造成整体的阻塞，影响效率公平队列，在项目中很少有使用，它本质是多个任务队列，且运行资源足够时就启动一个任务，好处在于同一时间每个队列中均有多个任务在执行，缺点也显而易见资源保持在高度使用

hadoop以jar形式运行代码并运行时动态指定参数

08-07

NULL 博文链接：https://chengjianxiaoxue.iteye.com/blog/2108203

Hadoop 设置任务执行的队列以及优先级和其他配置

石头视角

10-28

6490

作业提交到的队列：mapreduce.job.queuename 作业优先级：mapreduce.job.priority Pig版本： SET mapreduce.job.queuename root.etl.distcp; SET mapreduce.job.priority HIGH; Hive版本： SET mapreduce.job.q

Hadoop MapReduce指定yarn队列： -Dmapreduce.job.queuename

学亮编程手记

09-28

2962

-Dmapreduce.job.queuename=dmgeo指定队列名称，不需要加root. hadoop jar /opt/bigdata/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.9.2-tests.jar TestDFSIO -Dmapreduce.job.queuename=dmgeo -write -nrFiles 10 -fileSize 128MB ...

Hadoop 设置任务执行的队列以及优先级

最新发布

06-08

在 Hive 中，可以通过设置参数 `mapred.job.queue.name` 来指定一个任务执行的队列。具体的设置方式如下： 1. 在 Hive 命令行界面或者 Hive 脚本中，使用 `SET` 命令来设置该参数，例如： ``` SET mapred.job....

Hadoop命令详解与管理工具指南

执行命令时，用户可以指定通用选项（`GENERIC_OPTIONS`）和特定命令的选项（`COMMAND_OPTIONS`），以便定制行为。 2. **通用选项 (`GENERIC_OPTIONS`)** - `--configconfdir`: 允许用户覆盖默认的配置目录，...

hadoop streaming，排序，分区

weixin_30482181的博客

11-25

229

一个简单示例： hadoop jar ${hdstreaming} \-D mapreduce.job.queuename=mapreduce.normal \ #Hadoop 2.0一定要指定队列名-D mapreduce.job.name='UserFeature::Predict' \-D stream.num.map.output.key.fields=2 \-D num.key.fi...

Hadoop 配置多队列的容量调度器及优先级配置

qq_27242695的博客

10-08

1396

文章目录Hadoop 配置多队列的容量调度器1 配置多队列的容量调度器1.1 在 capacity-scheduler.xml 中配置如下1.2 分发配置文件，刷新队列 Hadoop 配置多队列的容量调度器需求 1：default 队列占总内存的 40%，最大资源容量占总资源 60%，hive 队列占总内存的 60%，最大资源容量占总资源 80%。需求 2：配置队列优先级 1 配置多队列的容量调度器 1.1 在 capacity-scheduler.xml 中配置如下修改 <!-- 指定多

【Hadoop】YARN多资源队列配置及使用实践

ccql's Blog

01-31

2275

由于MapReduce默认采用Capacity Scheduler（详见），因此理论上可以存在多个队列，而默认只有一个队列（default），现有需求：额外创建两个队列分别为online和offline，将这三个队列的资源分别分配为70%、10%、20%，且允许在资源不足时借用其他队列的资源，但最多不能超过70%（online队列里面运行实时任务，offline队列里面运行离线任务，MapReduce属于离线任务），最后将WordCount任务提交到offline队列执行。

python hadoop streaming_Hadoop Streaming 使用及参数设置

weixin_39603613的博客

12-18

308

1. MapReduce 与 HDFS 简介什么是 Hadoop ？Google 为自己的业务需要提出了编程模型 MapReduce 和分布式文件系统 Google File System，并发布了相关论文(可在 Google Research 的网站上获得：GFS、MapReduce)。Doug Cutting 和 Mike Cafarella 在开发搜索引擎 Nutch 时对这两篇论文进行了自...

Hadoop组成:Apache Hadoop YARN调度器

03-10

2909

Yarn调度器 Scheduler 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。在Y...

hadoop的自定义分组实现（Partition机制）

香宝的私房小厨

06-12

1万+

hadoop开发中我们会遇到类似这样的问题，比如如何将不同省份的手机号分别输出到不同的文件中，本片文章将对hadoop内置的Partition类进行重写以解决这个问题。　　MapReduce的使用者通常会指定Reduce任务和Reduce任务输出文件的数量（R）。用户在中间key上使用分区函数来对数据进行分区，之后在输入到后续任务执行进程。Hadoop中自带了一个默认的分...

Hadoop集群测试

ZYF2190003497的博客

11-04

681

hadoop集群

掌握Hadoop HDFS命令行操作：从基础到高级实践

本篇文档介绍了Hadoop分布式文件系统(HDFS)命令行的基本操作，针对的是Hadoop环境下的Windows 10系统和VMware Workstation Pro虚拟机。主要内容涵盖了HDFS的核心命令及其功能，旨在帮助学习者熟悉Hadoop环境下的文件...