sqoop导出数据到mysql报错: Application application_1687334079275_0015 submitted by user root to unknown queu

yarn队列需要配置

在capacity-scheduler.xml中配置如下

(1)修改如下配置

<!-- 指定多队列,增加hive队列 -->

<property>

    <name>yarn.scheduler.capacity.root.queues</name>

    <value>default,hive</value>

    <description>

      The queues at the this level (root is the root queue).

    </description>

</property>

<!-- 降低default队列资源额定容量为40%,默认100% -->

<property>

    <name>yarn.scheduler.capacity.root.default.capacity</name>

    <value>40</value>

</property>

<!-- 降低default队列资源最大容量为60%,默认100% -->

<property>

    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>

    <value>60</value>

</property>

(2)为新加队列添加必要属性

<!-- 指定hive队列的资源额定容量 -->

<property>

    <name>yarn.scheduler.capacity.root.hive.capacity</name>

    <value>60</value>

</property>

<!-- 用户最多可以使用队列多少资源,1表示 -->

<property>

    <name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>

    <value>1</value>

</property>

<!-- 指定hive队列的资源最大容量 -->

<property>

    <name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>

    <value>80</value>

</property>

<!-- 启动hive队列 -->

<property>

    <name>yarn.scheduler.capacity.root.hive.state</name>

    <value>RUNNING</value>

</property>

<!-- 哪些用户有权向队列提交作业 -->

<property>

    <name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>

    <value>*</value>

</property>

<!-- 哪些用户有权操作队列,管理员权限(查看/杀死) -->

<property>

    <name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>

    <value>*</value>

</property>

<!-- 哪些用户有权配置提交任务优先级 -->

<property>

    <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>

    <value>*</value>

</property>

<!-- 任务的超时时间设置:yarn application -appId appId -updateLifetime Timeout

参考资料:Enforcing application lifetime SLAs on YARN - Cloudera Blog -->

<!-- 如果application指定了超时时间,则提交到该队列的application能够指定的最大超时时间不能超过该值。 

-->

<property>

    <name>yarn.scheduler.capacity.root.hive.maximum-application-lifetime</name>

    <value>-1</value>

</property>

<!-- 如果application没指定超时时间,则用default-application-lifetime作为默认值 -->

<property>

    <name>yarn.scheduler.capacity.root.hive.default-application-lifetime</name>

    <value>-1</value>

</property>

2)分发配置文件

3)重启Yarn或者执行yarn rmadmin -refreshQueues刷新队列,就可以看到两条队列

[atguigu@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshQueues

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值