在执行Hadoop MapReduce任务时遇到'Filesystem closed'异常，本文详细记录了问题出现的原因及两种解决办法：1) 修改core-site.xml，设置fs.hdfs.impl.disable.cache为true；2) 在程序中通过配置关闭Filesystem缓存。同时，文章还介绍了正确判断HDFS上文件存在的方法，避免使用java.io.File的exists()，而应使用org.apache.hadoop.fs.FileSystem的exists()。
在运行hadoop进行数据mr的过程中，出现了异常，很简单的问题，一时大意调试了好久，so记录下来，给出现同样情况的小伙伴们一点参考：
（一）、Filesystem closed异常如下：
java.io.IOException: Filesystem closed
at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:795)
at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1986)
at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1118)
at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1114)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1114)
at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1400)
at com.mall.hadoop.job.comjob.CommonJob.commonJobStart(CommonJob.java:51)
at com.mall.manager.controller.DataClearController.dataSourceClear(DataClearController.java:41)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
最低0.47元/天 解锁文章
2211
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
