我们都知道hdfs命令:hdfs fs -mkdir -p /xx1/xx2/xx3 可递归创建一个目录,简单的命令背后,hadoop源码是如何执行的呐?接下来一起领略一下hadoop的源码魅力。
接下来直接上mkdirs方法:
public boolean mkdirs(Path f) throws IOException{
Path parent = f.getParent(); //获取f的父目录
File p2f = pathToFile(f); //将Path对象转化为File对象
return (parent == null || mkdirs(parent) &&
(p2f.mkdir() || p2f.isDirectory()));
}
以上源码只有三行,通过这三行源码,想必读者已经感受到了接下来将会重点介绍最后一行的return设计。
当执行mkdirs()方法的return语句时,首先会执行 运算符&&的前半部分,parent == null || mkdirs(parent)是一个布尔表达式,当parent为空时,表达式parent == null || mkdirs(parent)已经为true,后半部分的mkdirs(parent)由于表达式短路求值,将不会被调用。所以,只有parent不为空,才会递归判断parent的parent。
如果父目录存在,则&&的前半部分为false,则后半部分不会被调用执行。&&后半部分也是一个布尔表达式,在父目录不存在的前提下(即&&前部分确定),执行p2f.mkdir()创建父目录,如果创建成功,则后半部分p2f.isDirectory()不会被调用,整个表达式成功返回。
否则,p2f.mkdir()失败,这时要判断原因,如果p2f是目录,则p2f.isDirectory()返回true。说明待创建的文件存在,mkdirs()可以成功返回。这意味着,通过mkdirs()重复创建已经存在的目录,mkdirs()返回true,mkdir()是一个幂等操作。
如果p2f.isDirectory()返回false,说明传入的Path对象对应的目标不是一个目录(应该是一个文件),显然,由于存在同名的文件,不能创建Path对象指定的目录。
以上mkdirs()充分利用了布尔表达式的短路求值,实现了各种情况下创建目录需要执行的不同逻辑,设计的简介巧妙,是我们需要学习的地方。
参考资料:hadoop技术内幕