hadoop的FileSystem追加时异常
1.org.apache.hadoop.hdfs.protocol.RecoveryInProgressException
2.org.apache.hadoop.hdfs.protocol.RecoveryInProgressException
配置
Configuration conf = new Configuration();
// conf.setJobName(System.currentTimeMillis() + "");
conf.setBoolean("dfs.support.append", true);
conf.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER"); //修改属性参数
conf.setInt("dfs.replication", 1);
conf.set("dfs.client.block.write.replace-datanode-on-failure.enable", "true");
网上各种说法,基本都在上面这个配置,然并卵,如果你是同一个服务在本地测完,然后发到线上,很容易出现上面的异常,因为租约没有失效!
解决方法:
/**
* 创建文件,并且可以将制定内容写到文件中,如果为null则创建一个空的文件
*
* @param hdfsPath
* @param content
*/
public synchronized boolean updateFile(String hdfsPath, String content) throws Exception {
Path path = null;
try {
logger.info(hdfsPath + "---content size:" + content.length());
path = new Path(hdfsPath);
// fs = FileSystem.get(URI.create(hdfsPath), conf);
if (fs.exists(path)) {
out = fs.append(path);
out.write(content.getBytes());
} else {
// 创建一个空文件
if (content.equals("") || content == null) {
out = fs.create(path);
System.out.println("创建了一个空文件!");
} else {
// 创建一个文件,然后将内容写入进去
out = fs.create(path);
out.write(content.getBytes());
System.out.println("文件创建成功,内容已写入!");
}
}
return true;
} catch (Exception e) {
if (path != null) {
((DistributedFileSystem) fs).recoverLease(path);
}
close();
throw e;
} finally {
if (out != null) {
out.flush();
out.close();
}
}
}
public void close() throws IOException {
appendContent = null;
}
你没有看错,就是在追加抛异常的时候,将FileSystem强制转换成DistributedFileSystem然后将路径recoverLease,如果你想重新跑这次追加就在调一次就行了,我是直接让他抛异常,人工重启任务就不会出现异常了