HDFS_视图文件系统

1. 视图文件系统的含义

   ViewFileSystem不是一个新的文件系统，只是逻辑上的一个视图文件系统，在逻辑上是唯一的。其将各个集群的真实文件路径与ViewFileSystem内新定义的路径进行关联映射，好比文件系统中挂载的意思。

   ViewFileSystem真正干的事情可以理解为路径的路由解析，其可以跨越多个集群，保持文件系统逻辑上的一致性。

2. 视图文件系统的作用

   传统数据合并的方案是用distCp远程拷贝，但随着数据量规模的升级，会有以下问题出现：

   ① 拷贝周期太长，如果数据量非常大，在机房总带宽有限的情况下，拷贝的时间将会非常长
   

   ② 数据在拷贝的过程中，一定会有原始数据的变更与改动，如何同步这些数据也是需要考虑的方面

3. 视图文件系统的使用

   第一步：创建viewfs名称

   在core-site.xml中配置fs.defaultFS属性：

   <name>fs.defaultFS</name>
   <value>viewfs://MultipleCluster</name>
   

   第二步：添加挂载关系

   <name>fs.viewfs.mounttable.MultipleCluster.link./viewfstmp</name>
   <value>hdfs://nn1/tmp</value>
   

   这里的nn1就是真实的集群路径
   在配置前后验证：

   hadoop fs -ls /tmp
   hadoop fs -ls /viewfstmp
   

   这些挂载信息会维护在客户端的内存中，不需要重启NameNode和DataNode