hdfs SecondNameNode作用 + hdfs常用存储策略 小结

一. SecondNameNode作用
我们知道NameNode节点的内存中会维护一份完整的当前hdfs集群的数据块元数据信息，对应磁盘上面的一个快照文件+edit文件的组合，为了减轻为何最新快照文件+edits文件的负担，secondnamenode会定期从namenode中获取快照文件和edits文件并合并成新的快照文件，然后把新的快照文件在覆盖namenode本地的快照文件，这样当namenode节点重启时就可以读取到最新的快照文件，然后组合上edits修改记录日志，就可以还原出来hdfs集群上面的所有数据块元数据信息了.所以一句话总结就是secondnamenode起到辅助namenode生成最新快照文件的任务，所以也被称为检查点进程
二.hdfs常用存储策略
一般来说，我们都是设置文件或者目录的存储目录为默认的hot模式策略，也就是所有数据块都存放在磁盘上面，而当过了一段时间，比如一年之后，这些数据将成为访问量极少的历史数据，这样我们就会使用hdfs storagepolicies --setStoragePolicy cold命令把文件或者目录设置成冷策略的模式，也就是所有的数据存放到[Archive]高密度存储介质，比如磁带等设备中，不过目前hdfs不能简单的使用hdfs storagepolicies命令达到切换存储策略的目的，要另外使用hdfs mover 命令，这个命令会判断对应的目录或文件是否满足内部的存储策略，如果不满足，他会迁移数据到对应的存储目录中.
三 hdfs监控
我们常见的监控可以从NameNode界面上查看到各个数据块的信息，但是我们经常漏掉的一个监控是监控慢磁盘，也就是某个DataNode的磁盘操作比较慢，比如创建文件操作正常需要几十ms，但是某个磁盘可能需要几分钟，这就是慢磁盘，对于这种情况我们可以使用某个脚本命令来监控这种情况，或者通过sar等监控磁盘io的命令来达到监控慢磁盘的目的