hadoop 文件错乱
最新推荐文章于 2024-09-05 14:03:45 发布
在Hadoop测试集群运行Spark程序时遇到错误,部分任务失败,出现Cannot obtain block length for LocatedBlock的问题。分析原因是datanode挂掉后,Namenode可能存在临时文件未关闭。通过执行hadoop fsck命令查找并删除OPENFORWRITE状态的文件,再重新上传文件到hdfs以解决问题。
摘要由CSDN通过智能技术生成