hive报错File does not exist: /tmp/hadoop-yarn/staging/root/.staging/job_1699234747075_0001/job_.jhist

于 2023-11-07 16:59:24 发布
阅读量1.1k 收藏
点赞数
分类专栏： hive 报错 文章标签： hadoop hive 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35896718/article/details/134271391
版权
hive 同时被 2 个专栏收录
55 篇文章 2 订阅
订阅专栏
报错
28 篇文章 0 订阅
订阅专栏
文章讨论了在HadoopYARN环境中遇到的错误，原因是启用了HiveMetastore高可用模式但未启动Zookeeper。报错信息指向一个不存在的文件，这可能是由于先前服务器故障导致的误会，以为是YARN问题。
摘要由CSDN通过智能技术生成

一、报错信息

Caused by: org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): File does not exist: /tmp/hadoop-yarn/staging/root/.staging/job_1699234747075_0001/job_1699234747075_0001_1.jhist

java.io.FileNotFoundException: File does not exist: /tmp/hadoop-yarn/staging/root/.staging/job_1699234747075_0001/job_1699234747075_0001_1.jhist

二、原因

设置了hive metastore高可用，但未启动zookeeper!!!

无语了 ，刚好前一天服务器掉电了，还以为是yarn坏了

File does not exist: /user/anonymous/.staging/job_1628851608378_6064/报错问题解决
石榴姐yyds
08-16 1885
user/admin/.staging/job_1571397171638_0001/job_1571397171638_0001_1.jhist 所以为什么没有下发，这里面jhist，只是被引发的错误，它还不是根本的错误。看到上面错误，我们就可以判断，这是网络问题，然而网络无非是ip地址，防火墙，端口，hosts等。我们正常的hosts是这样的。在回头复盘想想，我们找不到jhist，跟我们的网络问题二者是很难找到关联的，所以大家在遇到问题的时候，一定多排查和思考，而不是看到一个错误，就以为是它的问题。
记一次mr中途落盘数据丢失 hdfs超租约异常 Error: java.io.FileNotFoundException: File does not exist:
Direction_Wind的博客
01-31 1095
这种问题首先定位的是hdfs和hadoop基础环境的问题，因为不是稳定发生，概率也不确定，所以非常不好复现，但却关键时刻会发生给你一记背刺，最关键的是失败了他会判定为成功，你就算监控都监控不到，就很让人麻。将DataNode max data transfer threads 参数从16401 翻倍 解决问题。现象为：mr任务偶尔中途失败，但执行结果yarn会判定为成功，具体可以看日志报错。
hive在执行任务的时候提示java.io.FileNotFoundException: File does not exist: hdfs://Master:9000/usr/local/apach
xuguokun1986的博客
04-27 1万+
1、错误信息 Number of reduce tasks determined at compile time: 1 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer= In order to limit the maximum num
打开Hive View2.0时出错，Message: File does not exist: /user/admin
weixin_30348519的博客
07-29 630
打开Hive View2.0时出错，Message: File does not exist: /user/admin 解决办法： # su - hdfs -c "hdfs dfs -mkdir /user/admin" # su - hdfs -c "hdfs dfs -chown admin:hdfs /user/admin" 转载于:https://www.cn...
启动hive hwi服务时出现 HWI WAR file not found错误
duguduchong的专栏
04-26 7121
./hive --service hwi [niy@niy-computer /]$ $HIVE_HOME/bin/hive --service  hwi 13/04/26 00:21:17 INFO hwi.HWIServer: HWI is starting up 13/04/26 00:21:18 FATAL hwi.HWIServer: HWI WAR file not found
ambari进入hive2 view 2.0报错 java.io.FileNotFoundException: File does not exist: /user/admin
茂神的博客
07-04 1288
java.io.FileNotFoundException: File does not exist: /user/admin at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(Nat...
FileNotFoundException: ...3.0.0-cdh6.0.0-mr-framework.tar.gz
Sunshine
07-21 2552
注：S201是集群的Master节点 描述过程： 在CDH集群管理页面 依次启动zookeeper、yarn、hdfs、spark、hive master节点上，root用户进入以下操作： hive hive> show databases; hive> use default; hive> create table student(id int,name s...
CDH Hive执行失败FileNotFoundException: File does not exist mr-framework.tar.gz
大数据实验室
01-23 1458
报错信息如下： ERROR : Job Submission failed with exception 'java.io.FileNotFoundException(File does not exist: hdfs://cdh6-slave1:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framework.tar.gz)' java.io.FileNotFoundException: File does not exist: hdfs
Ubuntu 20.04.1 LTS安装Hadoop3.3.0和hive3.1.2
hxtog的博客
10-06 3478
大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1 大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1说明。 环境准备 电脑(虚拟机): Ubuntu20.04.1 LTS, 已安装open-jdk(1.8) Hadoop安装文件: hadoop-3.2.1.tar.gz 下载地址 软件准备 安装ssh-server :~$ sudo apt install openssh-server 检查ssh是否安装成功 :~$ ssh loc
Hive
joob000的博客
01-11 727
一、CentOS 6.8中安装mysql https://blog.csdn.net/joob000/article/details/85699213. 二、Hive环境安装 Hive安装 1、到下载地址http://apache.fayea.com/hive/，下载apache-hive-1.2.1-bin.tar.gz，解压 tar -xzvf apache-hive-1.2.1-...
hive 提交任务时Job init failed
bigdataprimary的博客
06-26 498
背景：oozie+hive+python. 执行操作：在oozie中配置python脚本动态拼接SQL使用hive执行 关键操作：hiveSQL中有动态分区 报错信息： 2019-03-26 13:53:51,437 WARN [main] org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl: Job init failed or...
在进行wordcount案例时候报错 /tmp/hadoop-yarn/staging/root/.staging/job 1670725291667 000
miaotoull的博客
12-11 923
hadoop ha进行wordcount操作时候出现/tmp/hadoop-yarn/staging/root/.staging/job 1670725291667 000
Ambari 使用 Hive View 异常处理：Service 'userhome' check failed: File does not exist: /user/admin
qq_21153619的博客
12-27 1510
进入Hive View客户端的时候报这个错误：Service 'userhome' check failed: File does not exist: /user/admin 查看目录结构 hdfs dfs -ls /user 发现没有admin目录，自己创建一个   su hdfs hdfs dfs  -mkdir /user/admin hdfs dfs  -chown a...
Hive分桶表插入数据报错“(The ownership on the staging directory /tmp/hadoop-yarn/staging/root/.staging is not”
wufabao的博客
10-24 5980
使用Hive在往分桶表插入数据是报错如下 Job Submission failed with exception 'java.io.IOException(The ownership on the s taging directory /tmp/hadoop-yarn/s
java.io.FileNotFoundException: File does not exist:
weixin_42022134的博客
04-18 5777
Sqoop从mysql导入文件到hdfs 报错 ERROR tool.ImportTool: Import failed: java.io.FileNotFoundException: File does not exist: hdfs://cdh1.host.com:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.1-mr-framework...
Cannot create directory /tmp/hadoop-yarn/staging/root/.staging. Name node is in safe mode.
ForestCat的专栏
07-28 4602
利用 sqoop从mysql导入数据到hadoop 中出现以下错误: 19/07/28 07:47:43 ERROR tool.ImportTool: Import failed: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot cr...
hadoop :java.io.FileNotFoundException: File does not exist:
热门推荐
epitomizelu的专栏
12-18 2万+
点击打开链接转自：http://blog.163.com/silver9886@126/blog/static/35971862201441134010403/ 1.用hadoop的eclipse插件下M/R程序的时候，有时候会报 Exception in thread "main" java.lang.IllegalArgumentException: Pathname
Hive 执行作业时报错 [ Diagnostics: File file:/ *** reduce.xml does not exist FileNotFoundException: File ...
anxian8397的博客
03-10 862
2019-03-10 本篇文章旨在阐述本人在某一特定情况下遇到Hive执行MapReduce作业的问题的探索过程与解决方案。不对文章的完全、绝对正确性负责。 解决方案 Hive的配置文件 hive-site.xml中的hive.exec.scratchdir的目录地址要放在 HDFS上。 问题现象 本人在使用H...
File does not exist: hdfs://xxx:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framewo
前方的路在刚开始
08-06 1152
先用cdh安装yarn的mapredce的jar,然后在看看是不是时间问题，原因是0.5秒同步一次心跳，我其中一台节点，是在其他地方，所以网速不好。
root 用户 HIVE_METASTORE.uris = thrift://metastore_host:port
最新发布
09-28
Hivehistoryfile=/tmp/root/hive_job_log_root_201301301416_955801255.txt hive> SET hive.metastore.uris=thrift://your_metastore_host:your_port; OK hive> ``` 这里`your_metastore_host`是你Metastore服务的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值