hadoop 出现 failed to create file because current leaseholder is trying to recreate file.

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException): failed to create file /hisdata/20150121/20150121 for DFSClient_attempt_1471504264423_0029_r_000003_0_-472905518_1 for client 192.168.186.151 because current leaseholder is trying to recreate file.
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.recoverLeaseInternal(FSNamesystem.java:3075)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.appendFileInternal(FSNamesystem.java:2905)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.appendFileInt(FSNamesystem.java:3186)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.appendFile(FSNamesystem.java:3149)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.append(NameNodeRpcServer.java:611)
	at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.append(AuthorizationProviderProxyClientProtocol.java:124)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.append(ClientNamenodeProtocolServerSideTranslatorPB.java:416)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1060)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)


最近在做hadoop 自定义输出目录 刚开始 在map阶段写下如下代码

	FSDataOutputStream os=null;
		   	Configuration conf=	context.getConfiguration();
	    	FileSystem fs = FileSystem.get(conf);
	    	Path outputDir= new Path("/hisdata/"+key.toString()+"/"+key.toString());
	    	try {
				if(!fs.exists(outputDir)){
					 os=fs.create(outputDir);
				}else{
				     os=fs.append(outputDir);
				}
				
			for(Text text:values){
				  String content=text.toString()+"\n";
				   byte[] buff = content.getBytes();
			       os.write(buff, 0, buff.length);
			}
			
			} catch (Exception e) {
				e.printStackTrace();
			}finally{
				
				 fs.close();
				 os.close();
				
			}

没考虑map 并发的问题,map阶段很多并行的就会存在此问题,

后来把代码移植到reduce 里把map 的key作为reduce 的输出就不会出现了,主要还是对mapreduce 的原理理解的不够透彻,有时候就是那样有些问题很简单,

只是你有注意或者理解透彻。



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值