DataNode磁盘检测服务

对于像hdfs这样处理磁盘读写的服务来说，如何处理磁盘异常情况，这是一个关系到服务稳定性的问题，以下我们就从两个方面来看下hdfs如何处理磁盘问题：
1.DataNode节点如何保证磁盘数据以及磁盘读写等操作的健壮性, DataNode中会在内存中维护一份磁盘块元数据的信息，一般来说，内存中维护的磁盘块和磁盘中的磁盘块是一一对应的，不管是文件大小还是文件的版本号，两者都是一模一样的

1.1 DataNode中有一个叫做DirectoryScanner的定时扫描任务，其作用就是检测内存中磁盘块的数据和磁盘中磁盘块的数据的一致性，如果发现读取某个磁盘块的文件大小和内存中记录的该磁盘快文件大小不一样，那么会使用磁盘块的文件信息覆盖内存中的文件信息，如果发现内存中的某个磁盘块在物理磁盘中并不存在，则把内存中的该磁盘块删除,相反，如果发现物理磁盘中的某个磁盘块在DataNode的本地内存中不存在，则把该物理磁盘块的信息添加到本地内存中.此外，如果发现读取某个物理磁盘块时发生IO异常，则把这个磁盘块标记位坏块，Datanode读写时会绕过这个坏块，并把这个坏块信息报告给NameNode，NameNode上对应的界面上可以查看坏块的信息.

1.2 DataNode中还包括坏盘检测服务，这个服务的作用就是扫描每个磁盘，在对应的目录中试着创建文件和校验文件的读写权限，如果比如在创建目录时发生IO异常，表明这个磁盘已经损坏，DataNode就会把这个磁盘上面的所有数据块都标识为Bad 块，并把坏盘的信息上报给NameNode服务，NameNode的对应界面上可以展示出来损坏的磁盘

1.3 准实时的磁盘块检测服务，这个服务会不停的扫描可疑磁盘坏块，如果确定真的是坏的磁盘块，DataNode会把这个Bad块的信息上报给NameNode，DataNode会维护一份是否可疑磁盘坏块的列表，当读写磁盘块发生IO异常时，就会把发生异常的磁盘块添加到可疑的磁盘坏块列表中进一步检测

总之，DataNode会维护本地内存的磁盘块和物理磁盘块的数据的一致性，如果发现内存中的数据和物理磁盘块的数据不一致，他会首先修复数据，比如从内存中删除物理磁盘上其实并不存在的磁盘块等等，也就是说，DataNode不仅仅检测磁盘坏块，他还尽力的进行修复。其实DataNode的这种做法值得我们做日常系统时进行借鉴，有时候出现问题的地方是不可以预测的，所以如果只是检测而不进行修复是不够的，检测+修复才是一个合格兜底任务应该完成的事情