- 高容错
保存多个副本,且提供容错机制。 副本丢失或宕机自动恢复,默认存3份。
系统故障是不可避免的,如何做到故障之后的数据恢复和容错处理是至关重要的。
HDFS通过多方面保证数据的可靠性,多份复制并且分布到物理位置的不同服务器上,数据校验功能、后台的连续自检数据一致性功能都为高容错提供了可能。-
故障类型
- 节点失败(DN服务挂了)
- 节点没坏,网络坏了
- 数据块损坏(不稳定的网络传输、磁盘损坏)
-
故障检测机制
- 节点失败检测机制
- 数据错误检测机制
-
读写容错机制
- 读:CheckSum 校验和
- 写:获取一个数据块所有的DN位置,写入失败则会导致副本数量少。
-
- 适合批处理
它是通过移动计算而不是移动数据。把数据位置暴露给计算框架。 - 适合大数据处理
处理数据达到 GB、TB、甚至PB级别的数据。
能够处理百万规模以上的文件数量。
能够处理10000节点的规模。 - 简单一致性模型
HDFS 中的文件支持一次写入、多次读取,写入操作是以追加的方式添加在文件末尾,不支持多个 写入者的操作,也不支持对文件的任意位置进行修改。 - 流式数据访问
一次写入,多次读取,不能修改,只能追加。保证了数据的一致性。
HDFS的特点
最新推荐文章于 2023-09-06 21:08:43 发布