Hadoop集群时间同步问题解决办法

解决Hadoop集群授权错误：时间同步问题及解决步骤

最新推荐文章于 2024-12-19 14:45:15 发布

原创最新推荐文章于 2024-12-19 14:45:15 发布 · 788 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #java

大数据专栏收录该内容

7 篇文章

订阅专栏

本文讲述了在提交作业时遇到的YarnException：未经授权启动容器的错误，经排查发现是由于时间不同步导致。作者详细介绍了如何通过下载并配置ntp服务，同步系统时间来修复此问题，包括安装、启动和同步操作。

今天提交job时突然报错了，报错内容如下：
org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container

通过排查发现不是MR代码的问题，那么就是Hadoop集群出了问题，查了下说时间不同步导致的。

可以通过如下命令查看时间是否异常:

date //查看系统时间

解决办法：
1.下载ntp（每个节点都要下）

yum install -y ntp

2.启动服务

service ntpdate start

3.同步时间

ntpdate ntp1.aliyun.com

问题解决！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Huang3stone

关注关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Flink】Unauthorized request to start container. This token is expired. current time is

九师兄

11-24

896

该异常在 Flink AM 向 YARN NM 申请启动 token 已超时的 Container 时抛出，通常原因是 Flink AM 从 YARN RM 收到这个 Container 很久之后（超过了 Container有效时间，默认 10 分钟，该 Container 已经被释放）才去启动它，进一步原因是 Flink 内部在收到 YARN RM 返回的 Container 资源后串行启动。建议内部部署ntp或者chrony作为时间同步服务器，或客户有自己的时间同步服务器进行节点间时间同步。

万万没有想到是这样的报错"Unauthorized request to start container"

weixin_43646034的博客

01-10

2213

一、在执行任务时一直报错，求救各路大神，都没有成功解决，集群时间不同步，万万没想到。一直是以为内存不足导致的，我就加大内存但是还是报错，心态快要爆炸了，整了一天半，最终解决了！ Container launch failed for container_1546816092060_0011_01_000003 : org.apache.hadoop.yarn.exceptions.YarnExce...

参与评论您还未登录，请先登录后发表或查看评论

Hive运行hql报错：org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container

IT Baicn的博客

01-14

656

错误 Diagnostic Messages for this Task: Container launch failed for container_1547232045235_0036_02_000009 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. Th...

解决Hadoop集群时间不同步问题

weixin_54051652的博客

07-05

2344

解决Hadoop集群时间不同步问题

hadoop集群时间同步问题

haifeng112612的博客

10-24

548

hadoop集群时间同步问题时间不一致可能会报 region is not online错误。重启了hadoop集群主机之后，hadoop集群log中的时间一直不是系统时间，不知是装系统时的遗留问题（安装系统时区没有更改过）还是怎么。通过浏览http://hadoop:60010/jmx可看到user.timezone（时区）的value值是/America/New_York，并不是我们当前系统的时区。目前我的解决方法是添加hadoop、yarn和hbase的env的配置文件内容，分别如下： # cat

Hadoop集群时间同步、集群一键启动或关闭脚本

JIE的博客 --- moon_coder

10-28

577

本篇文章主要分享一些 Hadoop 集群的相关知识点，欢迎纠错指正。

在 Hadoop 集群中通过 ntpd（Network Time Protocol Daemon）实现集群时间同步

2301_79748596的博客

12-19

826

为了在 Hadoop 集群中通过 ntpd（Network Time Protocol Daemon）实现集群时间同步，并使 hd1 作为时间服务器，hd2 和 hd3 与 hd1 实现定时同步时间，按照以下详细步骤进行配置。hd2 和 hd3 从 hd1 同步时间：通过修改 ntp.conf 配置文件，使 hd2 和 hd3 从 hd1 同步时间。该命令将显示连接的时间服务器列表以及同步状态，确认 hd1 已经成功同步时间。hd1 作为时间服务器：通过 ntpd 服务，hd1 将提供时间同步服务。

【Hadoop】三、集群时间同步

01-07

# 修改1 授权192.168.1.0-192.168.1.255网段上的所有机器都可以从这台机器上查询和同步时间 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap # 修改2 集群在局域网中，不使用其他互联网上的时间 #server 0...

Hadoop集群的时间同步(chrony)

m0_65435794的博客

05-17

727

使用chrony对Hadoop集群的时间同步

hadoop集群时间同步

weixin_42376454的博客

11-21

505

同步方式选择一个机器，作为时间服务器（这里选择hadoop01），所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。所需工具 时间同步服务器有两个：ntpd和ntpdatp，虽然使用二者都能达到时间同步的目的，但是使用之前得弄清楚一个问题，ntpd与ntpdate在更新时间时有什么区别。ntpd不仅仅是时间同步服务器，他还可以做客户端与标准时间服务器进行同步时间，而且是平...

Hadoop环境下各个节点时间同步方法

05-24

在hadoop环境中，会要求各个节点之间的时间差不能超时。一般如果超过太长时间，节点上的hbase运行就会报错，所以要同步各节点的时间。例如，我们需要配置一个ntp时钟服务器，来给hadoop的各个节点进行时间同步。或者让节点之间进行时间同步，保证各节点的时间同步

集群时间同步问题解决的方法

caron的博客

05-12

1020

1）时间服务器配置（必须root用户）（1）在所有节点关闭ntp服务和自启动 sudo systemctl stop ntpd sudo systemctl disable ntpd （2）修改ntp配置文件 vim /etc/ntp.conf 修改内容如下 a）修改1（授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间） #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 为 res

HaDoop集群时间不同步的处理方法

做一个好人

08-23

3371

集群时间不同步，会导致各种各样的Bug发生。下面介绍一种一劳永逸的方法常规的有 date -s '2018-8-15 16:03' 或者ntpdate 0.asia.pool.ntp.org 这些命令来解决，但是过一段时间后，时间又会不同步解决方法： yum install -y ntp 构建一个定时器命令行输入 crontab -e 新增一行 * * * * * /us...

Hadoop集群下设置虚拟机时钟同步

weixin_45437533的博客

11-24

1541

两种时钟同步方案：第一种：所有主机与网络时间保持一致第二种：所有主机与某一台主机保持时钟同步选用第一种方案： 1.给每台机器安装阿里云的时钟同步服务器 2.设置定时任务，每一分钟与阿里云云端的时钟同步服务器同步一次步骤： 1、给三台虚拟机安装阿里云的时钟同步服务器： yum install -y ntp 注意：如果安装失败，可用以下方法解决： sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestm

Hadoop 解决集群时间同步

分享我的点点滴滴，在成长路上与你同行！

04-15

2857

原因：虚拟机的时间和北京时间不一致解决： 1、安装ntpdate工具： sudo yum -y install ntp ntpdate 2、设置系统时间与网络时间同步： sudo ntpdate cn.pool.ntp.org 3、修改为当地时间 sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 4.查看注意：以上步骤需要在三台机器上都进行操作一些哦 ...

Hadoop集群时间同步解决方案

qq_41323968的博客

01-22

340

Hadoop集群时间同步解决方案转载自:https://www.cnblogs.com/zwingblog/p/6110588.html 由于时间不同步,导致安装HBase时发生regionserver秒退问题及其解决方案用ntpdate从时间服务器更新时间如果Linux(简易版)没有ntpdate命令需要安装 | yum -y install ntp 安装完之后不需要什么配置,直接运行如...

org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container

ZP_279的博客

10-20

1112

今天在运行mapreduece提交job时：如下图出现异常---org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container，这有可能是主结点和从结点上的时间不同步的原因，所以需要配置时间同步。

Yarn异常Unauthorized request to start container

zhuhailong

12-07

2025

Hadoop Yarn org.apache.hadoop.yarn.exceptions.YarnException:Unauthorized request to start container

org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.

David的博客

10-27

1928

Container launch failed for container_1540502417999_0004_01_000002 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. This token is expired. current time is 1...

Hadoop集群时间同步