[hadoop] hdfs的并发写问题

总所周知,hadoop的hdfs组件有一个缺点就是不支持并发写入,不支持文件随即修改.

但是很多人不太了解并发写入是指什么.

有以下两种情况

两个客户端同时向hdfs上传不同名文件:


全都上传成功.

两个客户端同时向hdfs上传同名文件:

两个文件全部上传失败.

因此hdfs不能并发写指的是不能同时上传同位置同名文件.

额外一种情况
两个同名文件,一个文件成功上传,再用另一个客户端上传同名文件:

会提示 File exists.

结论

hdfs的不能并发写指的是同位置同名文件只能有一个writer,否则会使得所有的上传请求失败.
不同位置或者不同名的文件可以同时上传.