hdfs mkdir递归建立目录背后的设计

14 篇文章 0 订阅
5 篇文章 0 订阅

我们都知道hdfs命令:hdfs fs -mkdir -p /xx1/xx2/xx3 可递归创建一个目录,简单的命令背后,hadoop源码是如何执行的呐?接下来一起领略一下hadoop的源码魅力。
接下来直接上mkdirs方法:

public boolean mkdirs(Path f) throws IOException{
		Path parent = f.getParent();  //获取f的父目录
		File p2f = pathToFile(f);  //将Path对象转化为File对象
		return (parent == null || mkdirs(parent) &&
		 (p2f.mkdir() || p2f.isDirectory()));
}

以上源码只有三行,通过这三行源码,想必读者已经感受到了接下来将会重点介绍最后一行的return设计。
当执行mkdirs()方法的return语句时,首先会执行 运算符&&的前半部分,parent == null || mkdirs(parent)是一个布尔表达式,当parent为空时,表达式parent == null || mkdirs(parent)已经为true,后半部分的mkdirs(parent)由于表达式短路求值,将不会被调用。所以,只有parent不为空,才会递归判断parent的parent。
如果父目录存在,则&&的前半部分为false,则后半部分不会被调用执行。&&后半部分也是一个布尔表达式,在父目录不存在的前提下(即&&前部分确定),执行p2f.mkdir()创建父目录,如果创建成功,则后半部分p2f.isDirectory()不会被调用,整个表达式成功返回。
否则,p2f.mkdir()失败,这时要判断原因,如果p2f是目录,则p2f.isDirectory()返回true。说明待创建的文件存在,mkdirs()可以成功返回。这意味着,通过mkdirs()重复创建已经存在的目录,mkdirs()返回true,mkdir()是一个幂等操作。
如果p2f.isDirectory()返回false,说明传入的Path对象对应的目标不是一个目录(应该是一个文件),显然,由于存在同名的文件,不能创建Path对象指定的目录。
以上mkdirs()充分利用了布尔表达式的短路求值,实现了各种情况下创建目录需要执行的不同逻辑,设计的简介巧妙,是我们需要学习的地方。

参考资料:hadoop技术内幕

  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值