HDFS如何保证数据安全性

最新推荐文章于 2023-03-21 19:04:25 发布

迷惘的小行星

最新推荐文章于 2023-03-21 19:04:25 发布

阅读量1.4k

点赞数 2

文章标签： hdfs

本文链接：https://blog.csdn.net/abc5254065/article/details/112983047

版权

HDFS是典型的Master/Slave架构，它往往是一个NameNode加多个DataNode组成，NamNode是集群的；且HDFS中分块存储的，为了容错文件，每个Block都会有副本
第一个副本一般放置在客户端所在的节点上（若客户端无DataNode，则随机放），第二个副本放置到与第一个副本同一机架的不同节点上，第三个副本放到不同机架的DataNode节点，当取用时遵循就近原则
DataNode已Block为单位，每3s报告心跳状态，若10min内不报告心跳状态则NameNode认为Block已死掉，NameNode会把其上面的数据备份到其他一个DataNode节点上，保证数据的副本数量
DataNode会默认每小时把自己节点上的所有块状态信息报告给NameNode
采用Safemode模式：DataNode会周期性的报告Block信息且HDFS元数据采用SecondaryNameNode备份或者HA备份

关注