Hive 使用 create table as 语句出现 java.io.IOException: Filesystem closed 异常

于 2023-05-21 16:37:59 发布
阅读量606 收藏 2
点赞数
分类专栏： 大数据运维 文章标签： hive hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SUNK2014/article/details/130793363
版权

最近在使用新搭建的 Hive 环境进行测试的时候出现了莫名的错误信息 java.io.IOException: Filesystem closed，最一开始搭建的时候，进行建表、数据查询等操作都没有这个问题，直到最近才发现这个问题，具体的报错信息如下。

查看报错信息也没有找到具体的原因，只有文件 IO 异常。后来找到了原因，是 create table as select xxx 这种类型的 sql 导致 Hive 与 Hdfs 交互时文件未正常关闭，所以将问题以及解决方案在此记录一下。

**注：**测试环境使用的 Hadoop 和 Hive 的版本均为 3.1.3。

  • 错误栈
2023-05-17 15:21:55,304 ERROR [d59814d2-1cc5-40ca-8411-6bc07def1859 HiveServer2-Handler-Pool: Thread-971] parse.CalcitePlanner (SemanticAnalyzer.java:getMetaData(2079)) - org.apache.hadoop.hive.ql.metadata.HiveException: Unable to determine if hdfs://hadoop101:8020/user/hive/warehouse/ad.db/tmp_coarse_parsed_log_3 is encrypted: java.io.IOException: Filesystem closed
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.isPathEncrypted(SemanticAnalyzer.java:2441)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getStrongestEncryptedTablePath(SemanticAnalyzer.java:2517)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getStagingDirectoryPathname(SemanticAnalyzer.java:2549)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getMetaData(SemanticAnalyzer.java:2363)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getMetaData(SemanticAnalyzer.java:2075)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.genResolvedParseTree(SemanticAnalyzer.java:12033)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal(SemanticAnalyzer.java:12129)
	at org.apache.hadoop.hive.ql.parse.CalcitePlanner.analyzeInternal(CalcitePlanner.java:330)
	at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:285)
	at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:659)
	at org.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java:1826)
	at org.apache.hadoop.hive.ql.Driver.compileAndRespond(Driver.java:1773)
	at org.apache.hadoop.hive.ql.Driver.compileAndRespond(Driver.java:1768)
	at org.apache.hadoop.hive.ql.reexec.ReExecDriver.compileAndRespond(ReExecDriver.java:126)
	at org.apache.hive.service.cli.operation.SQLOperation.prepare(SQLOperation.java:197)
	at org.apache.hive.service.cli.operation.SQLOperation.runInternal(SQLOperation.java:260)
	at org.apache.hive.service.cli.operation.Operation.run(Operation.java:247)
	at org.apache.hive.service.cli.session.HiveSessionImpl.executeStatementInternal(HiveSessionImpl.java:541)
	at org.apache.hive.service.cli.session.HiveSessionImpl.executeStatementAsync(HiveSessionImpl.java:527)
	at sun.reflect.GeneratedMethodAccessor43.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hive.service.cli.session.HiveSessionProxy.invoke(HiveSessionProxy.java:78)
	at org.apache.hive.service.cli.session.HiveSessionProxy.access$000(HiveSessionProxy.java:36)
	at org.apache.hive.service.cli.session.HiveSessionProxy$1.run(HiveSessionProxy.java:63)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1729)
	at org.apache.hive.service.cli.session.HiveSessionProxy.invoke(HiveSessionProxy.java:59)
	at com.sun.proxy.$Proxy39.executeStatementAsync(Unknown Source)
	at org.apache.hive.service.cli.CLIService.executeStatementAsync(CLIService.java:312)
	at org.apache.hive.service.cli.thrift.ThriftCLIService.ExecuteStatement(ThriftCLIService.java:562)
	at org.apache.hive.service.rpc.thrift.TCLIService$Processor$ExecuteStatement.getResult(TCLIService.java:1557)
	at org.apache.hive.service.rpc.thrift.TCLIService$Processor$ExecuteStatement.getResult(TCLIService.java:1542)
	at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39)
	at org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39)
	at org.apache.hive.service.auth.TSetIpAddressProcessor.process(TSetIpAddressProcessor.java:56)
	at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:286)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:750)
Caused by: java.io.IOException: Filesystem closed
	at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:474)
	at org.apache.hadoop.hdfs.DFSClient.getEZForPath(DFSClient.java:2704)
	at org.apache.hadoop.hdfs.DistributedFileSystem$54.doCall(DistributedFileSystem.java:2530)
	at org.apache.hadoop.hdfs.DistributedFileSystem$54.doCall(DistributedFileSystem.java:2527)
	at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
	at org.apache.hadoop.hdfs.DistributedFileSystem.getEZForPath(DistributedFileSystem.java:2546)
	at org.apache.hadoop.hdfs.client.HdfsAdmin.getEncryptionZoneForPath(HdfsAdmin.java:356)
	at org.apache.hadoop.hive.shims.Hadoop23Shims$HdfsEncryptionShim.getEncryptionZoneForPath(Hadoop23Shims.java:1216)
	at org.apache.hadoop.hive.shims.Hadoop23Shims$HdfsEncryptionShim.isPathEncrypted(Hadoop23Shims.java:1211)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.isPathEncrypted(SemanticAnalyzer.java:2436)
	... 40 more

FAILED: SemanticException Unable to determine if hdfs://hadoop101:8020/user/hive/warehouse/ad.db/tmp_coarse_parsed_log_3 is encrypted: java.io.IOException: Filesystem closed
2023-05-17 15:21:55,304 ERROR [d59814d2-1cc5-40ca-8411-6bc07def1859 HiveServer2-Handler-Pool: Thread-971] ql.Driver (SessionState.java:printError(1250)) - FAILED: SemanticException Unable to determine if hdfs://hadoop101:8020/user/hive/warehouse/ad.db/tmp_coarse_parsed_log_3 is encrypted: java.io.IOException: Filesystem closed
org.apache.hadoop.hive.ql.parse.SemanticException: Unable to determine if hdfs://hadoop101:8020/user/hive/warehouse/ad.db/tmp_coarse_parsed_log_3 is encrypted: java.io.IOException: Filesystem closed
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getMetaData(SemanticAnalyzer.java:2083)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.genResolvedParseTree(SemanticAnalyzer.java:12033)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal(SemanticAnalyzer.java:12129)
	at org.apache.hadoop.hive.ql.parse.CalcitePlanner.analyzeInternal(CalcitePlanner.java:330)
	at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:285)
	at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:659)
	at org.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java:1826)
	at org.apache.hadoop.hive.ql.Driver.compileAndRespond(Driver.java:1773)
	at org.apache.hadoop.hive.ql.Driver.compileAndRespond(Driver.java:1768)
	at org.apache.hadoop.hive.ql.reexec.ReExecDriver.compileAndRespond(ReExecDriver.java:126)
	at org.apache.hive.service.cli.operation.SQLOperation.prepare(SQLOperation.java:197)
	at org.apache.hive.service.cli.operation.SQLOperation.runInternal(SQLOperation.java:260)
	at org.apache.hive.service.cli.operation.Operation.run(Operation.java:247)
	at org.apache.hive.service.cli.session.HiveSessionImpl.executeStatementInternal(HiveSessionImpl.java:541)
	at org.apache.hive.service.cli.session.HiveSessionImpl.executeStatementAsync(HiveSessionImpl.java:527)
	at sun.reflect.GeneratedMethodAccessor43.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hive.service.cli.session.HiveSessionProxy.invoke(HiveSessionProxy.java:78)
	at org.apache.hive.service.cli.session.HiveSessionProxy.access$000(HiveSessionProxy.java:36)
	at org.apache.hive.service.cli.session.HiveSessionProxy$1.run(HiveSessionProxy.java:63)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1729)
	at org.apache.hive.service.cli.session.HiveSessionProxy.invoke(HiveSessionProxy.java:59)
	at com.sun.proxy.$Proxy39.executeStatementAsync(Unknown Source)
	at org.apache.hive.service.cli.CLIService.executeStatementAsync(CLIService.java:312)
	at org.apache.hive.service.cli.thrift.ThriftCLIService.ExecuteStatement(ThriftCLIService.java:562)
	at org.apache.hive.service.rpc.thrift.TCLIService$Processor$ExecuteStatement.getResult(TCLIService.java:1557)
	at org.apache.hive.service.rpc.thrift.TCLIService$Processor$ExecuteStatement.getResult(TCLIService.java:1542)
	at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39)
	at org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39)
	at org.apache.hive.service.auth.TSetIpAddressProcessor.process(TSetIpAddressProcessor.java:56)
	at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:286)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:750)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to determine if hdfs://hadoop101:8020/user/hive/warehouse/ad.db/tmp_coarse_parsed_log_3 is encrypted: java.io.IOException: Filesystem closed
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.isPathEncrypted(SemanticAnalyzer.java:2441)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getStrongestEncryptedTablePath(SemanticAnalyzer.java:2517)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getStagingDirectoryPathname(SemanticAnalyzer.java:2549)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getMetaData(SemanticAnalyzer.java:2363)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getMetaData(SemanticAnalyzer.java:2075)
	... 36 more
Caused by: java.io.IOException: Filesystem closed
	at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:474)
	at org.apache.hadoop.hdfs.DFSClient.getEZForPath(DFSClient.java:2704)
	at org.apache.hadoop.hdfs.DistributedFileSystem$54.doCall(DistributedFileSystem.java:2530)
	at org.apache.hadoop.hdfs.DistributedFileSystem$54.doCall(DistributedFileSystem.java:2527)
	at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
	at org.apache.hadoop.hdfs.DistributedFileSystem.getEZForPath(DistributedFileSystem.java:2546)
	at org.apache.hadoop.hdfs.client.HdfsAdmin.getEncryptionZoneForPath(HdfsAdmin.java:356)
	at org.apache.hadoop.hive.shims.Hadoop23Shims$HdfsEncryptionShim.getEncryptionZoneForPath(Hadoop23Shims.java:1216)
	at org.apache.hadoop.hive.shims.Hadoop23Shims$HdfsEncryptionShim.isPathEncrypted(Hadoop23Shims.java:1211)
	at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.isPathEncrypted(SemanticAnalyzer.java:2436)
	... 40 more
  • 解决方案

修改 hdfs 配置文件 $HADOOP_HOME/etc/hadoop/hdfs-site.xml，增加如下配置，禁用缓存解决这个问题。

<property>
    <name>fs.hdfs.impl.disable.cache</name>
    <value>true</value>
</property>
孙看看
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
java.io.IOException: Filesystem closed
qq_42274571的博客
12-07 786
异常情况： 2021-12-06 23:25:15,656 INFO [main] mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(260)) - Cleaning up the staging area /tmp/hadoop-yarn/staging/henry/.staging/job_1638759714369_0002 Exception in thread "main" java.io.IOException: Fi.
AndroidApk混淆编译时，报告java.io.IOException…错误解决办法
01-04
在混淆编译之前，我的程序可以正常运行，混淆编译时，报告如下错误： Error:Execution failed for task ‘:gviews:transformClassesAndResourcesWithProguardForRelease’. Java.io.IOException: The same input jar [E:\Android\myProgram\angel\libs\alipaySdk-20160825.jar] is specified twice. 首先 看一下我项目中关于此jar的配置，我在libs中导入了alipaySdk-20160825.jar，
Caused by: java.io.IOException: Filesystem closed的处理
数据之路
01-24 7805
org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.db/mac_wifi_day_data/tid=CYJOY/.hive-staging_hive_2016-01-20_10-19-09_200_1
hive运行时Job initialization failed: java.io.IOException: Filesystem closed
分布式应用与服务器架构专栏
02-22 8058
最近运行一次读多次写的hiveSQL语句出现了一个新问题，如图：   在hadoop的mapreduce管理页面里，报错如下信息如图： 目前暂时无解中…………………… 奇怪同一个SQL语句出现如此问题，有待观察！ 对于此问题，是因为Filesystem 是一个single 对象，当设置了JVM重用这个参数后，那么就会出现之前一个任务运行完成后，会关闭这个Filesystem，
java.io.IOException: Filesystem closed问题解决
Superbaby_babe的博客
10-11 2071
往HDFS中上传一个文件时候，代码爆出如下异常 之前使一直是没有问题的，想到肯定是某个位置把FileSystem给关闭了。去查找代码的时候，果不其然，在前面下载文件的代码中，把filesystem给关闭了，如下图所示： 于是，重新创建一个没有关闭fs的方法 depoly common项目 depoly上去之后，在项目中直接刷新maven就可以调用新方法了，如下图所示： ...
启动tomcat时 错误: 代理抛出异常 : java.rmi.server.ExportException: Port already in use: 1099的解决办法
01-10
　错误: 代理抛出异常错误: java.rmi.server.ExportException: Port already in use: 1099; nested exception is: java.net.BindException: Address already in use: JVM_Bind 　这里说的是1099端口被其它进程占用...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
java.net.SocketException: Connection reset 解决方法
09-05
Java中的`java.net.SocketException: Connection reset`是一个常见的网络编程错误，通常表示在TCP/IP通信过程中，连接突然中断。这个异常可能在客户端或服务器端发生，通常与数据传输的异常中断有关。 首先，我们来...
hive简单使用共13页.pdf.zip
10-29
2. **HQL语言**：HQL是Hive提供的SQL方言，支持DML（Data Manipulation Language）操作，如SELECT、INSERT、UPDATE和DELETE，以及DDL（Data Definition Language）操作，如CREATE TABLE、ALTER TABLE和DROP TABLE。...
hadoop Caused by: java.io.IOException: Filesystem closed
tttjjjlll的专栏
02-25 461
今天在执行hive的时候报了下面的错: [code="java"] 2014-02-25 09:07:20,021 INFO [IPC Server handler 17 on 60055] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1393225005206_083...
Caused by: java.io.IOException: Filesystem closed 操作文件系统时习惯性的关流
hongchenshijie的博客
11-26 1558
错误: 发生原因: filesystem被关闭了 解决办法
hadoop hdfs 读写错误解决：java.io.IOException: Filesystem closed
ZeroKoop
02-28 861
参考链接 1、创建文件系统实例的时候使用下面： FileSystem fs=FileSystem.newInstance(conf); 而不是：fs = FileSystem.get(conf);
Filesystem closed报错问题处理
杜海的博客
02-02 1513
使用HDFS的时候问题原因为：多线程访问问题，线程A、B同时获取filesystem后使用，线程B使用完后调用了filesystem.close()方法，这个时候线程A还在操作filesystem，所以报错上面种种异常。
Create Table As
unixboy
02-21 302
Create Table As  (CTAS)Note: Redo only created when in ARCHIVE LOG mode CREATE TABLE &lt;table_name&gt; ASSELECT &lt;column_name, column_name, ..., &lt;column_name&gt;FROM &lt;table_name&gt;; CREATE T...
hive的craete table as
fuyun6363的博客
04-22 5138
Create Table As Select (CTAS) hive中还可以通过一个 create-table-as-select (CTAS) 语句中的查询结果来创建和填充表。 CTAS 创建的表是原子的，这意味着在填充所有查询结果之前，其他用户看不到该表。 因此，其他用户要么看到包含完整查询结果的表，要么根本看不到该表。 CTAS 中有两个部分，SELECT 部分可以是 HiveQL 支持的任何 SELECT 语句。 CTAS 的 CREATE 部分从 SELECT 部分获取结果模式，并使用其他表属性（
【数据库】HIVE SQL：直接建表，like建表，as 建表小结
J小白的博客
06-22 6120
工作中，根据场景不同，可能建表方式不同，有时候用like、as方式建表会达到事半功倍的效果，下面是小白总结的三种创建表的方式。 1、使用create命令创建一个新表 create命令建表，参数不同，也有些许的区别，下面来看一下，创建一个带有分区的表，分区按天，取名为d 可以看到分区是用partitioned by方式，指定分区的参数，另外下面的stored as是用来指定存储的...
Flink算子间数据传递模式
数据工匠记
03-18 1842
算子之间传输数据的形式可以是one-to-one (forwarding)的模式也可以是redistributing的模式，具体是哪一种形式，取决于算子的种类。 One-to-one： Stream(比如在 source 和 map operator 之间)维护着分区以及元素的顺序。那意味着 map 算子的子任务看到的元素的个数以及顺序跟 source 算子的子任务生产的元素的个数、顺序相同，map、fliter、flatMap 等算子都是 one-to-one 的对应关系（类似于 spark 中的窄依
Hive中无法创建table的解决方法
a的博客
07-23 1119
在mysql中输入如下语句:     alter database hive set character latin1;   将utf-8改为latin1编码; 复制粘贴的语句出错时考虑单独输入.
Error: java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.hive.serde2.io.DateWritableV2 (state=,code=0)
最新发布
06-10
这是一个很明显的 Hive 错误，报告了在使用 `inspect` 命令时尝试检查不支持的数据类型 `org.apache.hadoop.hive.serde2.io.DateWritableV2`。这通常是由于 Hive 中的某个查询或操作尝试使用不支持的数据类型或操作而导致的。解决此错误的最佳方法是检查你的 Hive 查询或操作中使用的所有数据类型和操作是否都受支持，并根据需要进行调整。你可以查看 Hive 文档以获取更多支持的数据类型和操作的信息。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值