HDFS分析(四)

      在HDFS中可能同时有多个客户端在同一时刻写文件，如果不进行控制的话，有可能多个客户端会并发的写一个文件，所以需要进行控制，一般的想法是用一个互斥锁，在某一时刻只有一个客户端进行写操作，但是在分布式系统中有如下问题：

  1.每次写文件前，客户端需要向master获取锁情况，他们之间的网络通讯太频繁。

  2.当某个客户端获取锁之后和master失去联系，这个锁一直被该客户端占据，master和其他客户端不能获得锁，后续操作中断。

 

在HDFS中使用了租约解决上面的问题：

  1.当写一个文件时，客户端向NameNode请求一个租约，租约有个时间期限，在时间期限内客户端可以写租约中管理的文件，一个文件只可能在一个租约内，所以只可能有一个客户端写。

  2.在租约的有效时间内，客户端不需要向NameNode询问是否有写文件的权限，客户端会一直持有，当客户端一直正常的时候，客户端在租约过期的时候会续约。

  3.当客户端在持有租约期间如果发生异常，和NameNode失去联系，在租约期满以后NameNode会发现客户端异常，新的租约会赋给其他正常的客户端，当异常客户端已经写了一部分数据，HDFS为了分辨这些无用的数据，每次写的时候会增加版本号，异常客户端写的数据版本号过低，可以安全的删除掉。

 

HDFS中的LeaseManager是租约管理器，主要管理着下面这三部分数据：

//
  // Used for handling lock-leases
  // Mapping: leaseHolder -> Lease
  //
  private SortedMap<String, Lease> leases = new TreeMap<String, Lease>();
  // Set of: Lease
  private SortedSet<Lease> sortedLeases = new TreeSet<Lease>();

  // 
  // Map path names to leases. It is protected by the sortedLeases lock.
  // The map stores pathnames in lexicographical order.
  //
  private SortedMap<String, Lease> sortedLeasesByPath = new TreeMap<String, Lease>();

第一部分保存的数据是客户端和Lease的映射

第二部分保存的数据是所有的lease集合，按照上次租约更新时间进行排序，上次租约更新时间离当前时间越长的越排在前面。

第三部分保存的数据是文件名和lease的映射，按照文件名的字典顺序进行排序

 

在LeaseManager中有个Monitor线程在不停的检查lease集合，检查是否有lease过期，如果lease过期，会将对应的lease删除。

在DFSClient中有一个LeaseChecker线程，该线程周期性的检查租约是否过期，在快过期的时候就会续约租约，这是个后台线程，当DFSClient挂了，这个线程也挂了，租约也不能续约了.

 

 

 

 

 

 

 

转载于:https://www.cnblogs.com/nod0620/archive/2012/04/10/2440057.html