Hadoop浅解HDFS租约处理

问题提出

在HDFS中可能同时有多个客户端在同一时刻写文件，如果不进行控制的话，有可能多个客户端会并发的写一个文件，所以需要进行控制，一般的想法是用一个互斥锁，在某一时刻只有一个客户端进行写操作，但是在分布式系统中有如下问题：

1. 每次写文件前，客户端需要向master获取锁情况，他们之间的网络通讯太频繁。
2. 当某个客户端获取锁之后和master失去联系，这个锁一直被该客户端占据，master和其他客户端不能获得锁，后续操作中断。

问题解决

在HDFS中使用了租约解决上面的问题：

1. 当写一个文件时，客户端向NameNode请求一个租约，租约有个时间期限，在时间期限内客户端可以写租约中管理的文件，一个文件只可能在一个租约内，所以只可能有一个客户端写。
2. 在租约的有效时间内，客户端不需要向NameNode询问是否有写文件的权限，客户端会一直持有，当客户端一直正常的时候，客户端在租约过期的时候会续约。
3. 当客户端在持有租约期间如果发生异常，和NameNode失去联系，在租约期满以后NameNode会发现客户端异常，新的租约会赋给其他正常的客户端，当异常客户端已经写了一部分数据，HDFS为了分辨这些无用的数据，每次写的时候会增加版本号，异常客户端写的数据版本号过低，可以安全的删除掉。