HDFS 的并发写问题

hdfs的并发写问题

总所周知，hadoop的hdfs组件有一个缺点就是不支持并发写入，不支持文件随即修改.

有以下两种情况：
两个客户端同时向hdfs上传不同名文件:


全都上传成功.
两个客户端同时向hdfs上传同名文件:


两个文件全部上传失败.
因此hdfs不能并发写指的是不能同时上传同位置同名文件.

额外一种情况
两个同名文件，一个文件成功上传，再用另一个客户端上传同名文件，会提示 File exists.

结论

hdfs的不能并发写指的是：同位置同名文件只能有一个writer，否则会使得所有的上传请求失败

不同位置或者不同名的文件可以同时上传.