Hive任务报错Unexpected end of input stream

最新推荐文章于 2023-07-21 11:30:48 发布
原创 最新推荐文章于 2023-07-21 11:30:48 发布 · 707 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hadoop #大数据

一篇关于解决Hive任务执行时遇到的javaIO错误'Unexpectedendofinputstream'的问题。该错误通常由于HDFS上的文件损坏或存在空文件导致。通过检查并删除空文件，重新执行任务可以解决问题。建议使用Hive的showcreatetable命令查找表的HDFS路径以定位问题。

Hive任务报错Unexpected end of input stream

记录一个hive任务的bug ， 每天执行的任务并没有做什么修改，突然有一天执行失败了。
查看日志 报错信息为javaIO错误 关键词： Unexpected end of input stream
在这里插入图片描述

原因：HDFS文件损坏了，或者有空文件；
处理：我的任务是6月22失败的， 查看日志锁定到可能损坏的表，查看分区为六月22日的表文件。
使用命令查看hdfs文件：hdfs dfs -ls /vcomicbi/ods/ods_event_log/dt=20220622/ 发现有大小为0的空文件删除掉重新执行任务就可以了。（一定要查找到最底层的初始表，把对应的空文件删掉）

在这里插入图片描述
不知道对应表所在的HDFS路径的话可以在Hive里使用 show create table +tableName查看表的HDFS文件路径
在这里插入图片描述

元数据与数据治理|Apache Atlas安装过程详解（初步版本）
十年呵护的专栏
01-09 7613
                                  Apache Atlas安装过程详解 一  安装Apache Atlas 1.下载安装包执行以下命令 tar xvfz apache-atlas-1.1.0-sources.tar.gz cd apache-atlas-sources-1.1.0/ export MAVEN_OPTS="-Xms2g -Xmx4g" mvn...
hive问题与排查
08-30 4523
1、select  date from test_table报以下错误： FAILED: ParseException line 1:7 Failed to recognize predicate 'date'. Failed rule: 'identifier' in table or column identifierjie 解决办法： set hive.support.sql11.r
Hive：cause:java.io.IOException: java.io.EOFException: Unexpected end of input stream
大数据知识梳理
07-21 552
Hive：cause:java.io.IOException: java.io.EOFException: Unexpected end of input stream 原因基本上有： 空文件 不完整的文件 gz格式压缩的有问题 文件没有正确结束，例如.gz 文件数据有问题
InputStream读取不完整 导致出现 Unexpected end of ZLIB input stream
随风飘流的博客
04-26 1万+
文章目录错误信息排查为什么出现这个问题附, InputStream.read方法的源码注释 (jdk1.8)参考资料 错误信息 测试环境，某个文件读取功能报错，错误日志如下 java.io.IOException: Failed to read zip entry source at org.apache.poi.openxml4j.opc.ZipPackage.<init>(Zi...
Prometheus解读+配置文件详细分析
weixin_45432093的博客
07-28 1193
Prometheus解读+配置文件详细分析
HIVE查询报错Unexpected end of input stream
Inverse_fang的博客
09-19 3407
HIVE查询报错Unexpected end of input stream 导致报Unexpected end of input stream的原因有以下几点： hdfs中所查询的文件有个别损坏。 gz格式压缩的有问题 文件没有正确结束，例如.gz 文件数据有问题 错误如图： 我的查询语句是 select Count(1) from table; 这里提供找到损坏文件的方法两则...
hive查询遇到java.io.EOFException: Unexpected end of input stream错误
weixin_34197488的博客
10-23 1137
hive查询遇到java.io.EOFException: Unexpected end of input stream错误 原因基本上有两个： 空文件 不完整的文件 解决办法： 删除对应文件… 参考 看这里
java.io.IOException: unexpected end of stream on 含义及报错原因
最新发布
07-19
</think>### java.io.IOException: unexpected end of stream 报错原因及解决方法 当您在Java应用程序中遇到`java.io.IOException: unexpected end of stream`错误时，这通常表示程序在读取输入流（如网络流或文件...
java 报 unexpected input
06-26
| `Unexpected end of input stream` [^2] | 验证源文件完整性，增加超时重试机制 | | `Bad checksum` [^3] | 关闭非关键校验（需权衡安全风险） | | 前端 `unexpected end of input` [^4] | 检查 AJAX 响应完整性，...
hive Caused by: java.io.EOFException: Unexpected end of input stream排查
honghng的专栏
05-25 3751
今天一个常跑的SQL突然运行失败，重试也无法解决，具体报错如下： Caused by: java.io.EOFException: Unexpected end of input stream 这个错误初看是由于输入文件IO无法正确解释导致，container日志显示的都是task直接被杀。 由于SQL较长通过报错stage定位具体SQL段Launching Job 5
hadoop异常: java.io.EOFException: Unexpected end of input stream
weixin_30293135的博客
06-05 927
执行hadoop任务时报错： 2019-06-05 03:23:36,173 INFO [main] org.apache.hadoop.mapred.MapTask: Processing split: Paths:/flume/nginx/app1/2019-06-05/00/app1@flume23_10003_4.1559665890953.gz:0+0,/flume/nginx/a...
java.io.EOFException: Unexpected end of ZLIB input stream异常处理
热门推荐
Revivedsun的专栏
07-30 3万+
java.io.EOFException: Unexpected end of ZLIB input stream异常处理因需要完成压缩于解压缩功能，所以使用到java.util.zip中的类。同时使用了jdk 1.7 try with resource 的特性，结果暴出 java.io.EOFException: Unexpected end of ZLIB input stream异常。jav
Unexpected end of input stream（Spark)解决
weixin_39031707的博客
06-05 5210
Unexpected end of input stream错误，错误日志如下： 主要原因是gz.gz这种文件无法解压，碰巧gz.gz又是空文件，所以可以在spark-submit加参数忽略他 --conf spark.sql.files.ignoreCorruptFiles=true //完整的提交语句如下 spark-submit --master yarn --deploy-mode cl...
hadoop Unexpected end of input stream 错误
weixin_34319374的博客
11-07 443
线上一个job出错，报错信息如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 DiagnosticMessagesforthisTask: Error : java.io.IOException:java....
java InputStream#read的 end of stream的问题
weixin_44730681的博客
02-10 2613
网络流的结尾（end of stream）是什么？ 在java.io包中大多数read方法的 javadoc 中，可以读到 the total number of bytes read into the buffer, or -1 if there is no more data because the end of the stream has been reached 大致意思是：读取到缓冲区的字节总数，或 -1，如果没有更多的数据，因为已经达到流的结尾 我们都知道 读取文件时，只要读取到 文件的
java.io.IOException: java.io.EOFException: Unexpected end of input stream错误
weixin_30417487的博客
08-04 4464
报错现象： Diagnostic Messages for this Task:Error: java.io.IOException: java.io.EOFException: Unexpected end of input stream at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordRe...
hadoop java.io.EOFException: Unexpected end of input stream
weixin_34352005的博客
05-21 640
执行hadoop 报错 java.io.EOFException: Unexpected end of input stream at org.apache.hadoop.io.compress.DecompressorStream.decompress(DecompressorStream.java:165) at org.apache.hadoop.io.compr...
Hive连接报错Unexpected end of file when reading from HS2 server
04-11
好的，用户遇到了Hive连接时的错误“Unexpected end of file when reading from HS2 server”，需要我帮忙分析原因并提供解决方案。首先，我得回忆一下Hive的常见连接问题，尤其是和HS2相关的。 根据用户提供的引用...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值