The value of property yarn.resourcemanager.zk-address must not be null的解决方案

最新推荐文章于 2023-04-14 18:05:19 发布
最新推荐文章于 2023-04-14 18:05:19 发布
阅读量1.8k 收藏
点赞数
文章标签： 大数据
原文链接：https://my.oschina.net/u/4065958/blog/3006801
版权
当尝试在Hive中运行MR任务时，如果遇到‘The value of property yarn.resourcemanager.zk-address must not be null’的错误，问题可能出在Yarn-site.xml配置文件上。错误原因是配置文件中关于Yarn的HA设置不正确，尤其是hadoop.zk.address配置。将配置更新为正确的ZK地址并确保在所有四台机器上一致，然后重启高可用服务，即可解决问题。
摘要由CSDN通过智能技术生成

hive中的mr只能执行一次，如果在执行就会报错

7018fdff153f98f723ec2b0be23363c120f.jpg

解决：上面错误明显看到是配置文件Yarn-site.xml;那么就去改这个配置文件，一般是由于配置文件里配置了yarn的ha,我们都是复制官方文档中的配置文件如下图，

162510b810fe6e3f7c664417ea3f24b100b.jpgd7487fcfbe0bc35f907b4eb124159d8f5b5.jpg

然而在上面文档中却是显示hadoop.zk.address这个地址，所以改过来就可以解决了

2baaaaf3bba84dbc7c0ab10cb7eb6f96480.jpg

<?xml version="1.0"?>
<confi
最低0.47元/天 解锁文章
chunni331128
关注
Impala中的高可用性设计：如何确保系统的可靠性和高可用性？
程序员光剑
07-15 1857
作者：禅与计算机程序设计艺术 随着大数据、云计算、容器化、微服务等新兴技术的快速发展，越来越多的企业把数据库从单机上迁移到分布式集群中进行运行。由于分布式系统环境复杂、系统规模庞大，因此对其系统可用性要求也越来越高。而Impala作为开源分布式查询引擎，正在成为众多大数据平台的重要组成部分。为了保证Impala在真实业务场景中的高可用性，
Hive3.1.1报错:The value of property yarn.resourcemanager.zk-address must not be null
mingjin00的博客
03-01 143
hadoop ha 执行hive报错
hive跑mr时报错，java.lang.IllegalArgumentException: The value of property yarn.resourcemanager.zk-address
隔壁的泰山的博客
12-19 485
E1:hive跑mr时报错，java.lang.IllegalArgumentException: The value of property yarn.resourcemanager.zk-address must not be null
邮箱注册报错：java.lang.IllegalArgumentException: To address must not be null
北纬30°
02-11 2167
To address must not be null翻译：To的地址不能为空。 意思是收件人不能为空。 原因可能是我们在运行demo的时候，忘记重新请求服务器，而是直接在本页面刷新，这样就会报这个错误，一般这个错误是比较少出现的。 只要在收件人栏写收件人邮箱就不会报错。 ...
启动yarn时，resourcemanager启动失败
bragen的博客
02-14 4717
使用启动yarn后，再使用jps查看进程，发现只有Notemanager启动了，而resourcemanager没有启动。
hadoop (The value of property yarn.resourcemanager.zk-address must not be null)
04-03
This error message indicates that the property "yarn.resourcemanager.zk-address" is not set or has a null value in the Hadoop configuration file. To resolve this issue, you need to update the ...
hive操作错误总结
萤火之光，照亮前行
03-31 1187
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. org.apache.hadoop.hive.ql.metadata.HiveException: Unable to move source file: 解决： 退出hive，关闭namenode和datanode，删除namenode的...
hadoop的配置选项
u011326189的专栏
12-31 1万+
为方便阅读，特在此整理： core_site.xml 引用：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml name value description hadoop.common.configuration.version 0.2
hadoop报错——ResourceManager无法启动
最新发布
weixin_63507910的博客
04-14 2727
本次的遇到的问题为启动Hadoop集群后，jps查看进程中，ResourceManage节点没有启动，导致无法访问http://localhost:8088，通过查看ResourceManage的启动日志，日志中给出的错误为，笔者初步判断为yarn-site.xml文件未填写Zookeeper的端口，以及设置开启自动恢复和故障自动转移。
hadoop集群之YARN`s ResourceManager HA（三）
liyongke89的专栏
04-28 244
如果有看蒙圈的地方，请看下HDFS HA这篇文章 官方给出的方案如下 配置目标： node1 node2 node3：3台ZooKeeper node1 node2：为2台ResourceManager 首先配置node1，配置etc/hadoop/yarn-site.xml： <property> <name>yarn.resourcemanager.h...
大数据学习第9天：
weixin_43868405的博客
06-14 255
大数据学习第9天： Yarn分布式集群环境部署 client发出请求到resourceManager，resourceManager启动Appication master为任务分配相关的资源，分配完成后返回信息到resource Manager，再由resourceManager将任务分发到不同的NodeManager。NodeManager启动Container执行需要的MapReduce工作。...
基于Zookeeper的ResourceManager-HA配置
热门推荐
pengjunlee的博客
08-15 4万+
前言 在YARN中，Resource Manager（RM，资源管理器）负责整个系统的资源管理和调度，在2.4版本以前，它一直是整个YARN集群的单点故障。新的ResourceManager HA通过冗余一个Resource Manager形成一种Active/Standby的架构来避免ResourceManager的单点故障。             在ResourceManager ...
HBase的数据导入方式
u010143774的博客
07-06 646
前言:　　作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇博文重点讲解HBase的数据导入, 描述三种方式, Client API, Bulkload, 以及Hive Over HBase.*). Client API实现 借助HBase的Client API来导入, 是最简易学
The value of property RUNNING DATE must not be null
大数据
11-16 2212
The value of property RUNNING DATE must not be null
hadoop源码解析2 - conf包中Configuration.java解析
chuanjiaoye5017的博客
09-11 295
1 Hadoop Configuration简介Hadoop没有使用java.util.Properties管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是使用了一套独有的配置文件管理系统，并提供自己的API，即使用or...
Hadoop官方文档翻译—— YARN ResourceManager High Availability 2.7.3
lisuo1234的博客
02-15 540
ResourceManager High Availability (RM高可用) Introduction（简介）Architecture（架构） RM Failover（RM 故障切换）Recovering prevous active-RM’s state（恢复之前活动的RM的状态） Deployment（部署） Configurations（
Hadoop参数：fs.defaultFS、 dfs.name.dir 、 dfs.data.dir
飘过的春风
04-06 2万+
fs.defaultFS The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uri's scheme determines the config property (fs.SCHEME.impl) naming
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值