Hadoop基本组件和HDFS的目标

3.3 Hadoop基本组件
Hadoop实际是由三个不同的组件构成：
● HDFS:Hadoop分布式文件系统。
● YARN：一个资源调度框架。
● MapReduce：一个分布式处理框架。

1. HDFS的目标
● 硬件容错。
检测硬件错误并从有问题的硬件快速自动恢复，就成为HDFS架构的核心目标。
● 流式数据访问。
流式访问就是对数据边读取边处理，而不是将整个数据集读取完成后再开始处理。
● 支持大数据集。
HDFS中一个典型文件的大小是几GB到几TB。HDFS需要支持大文件，它应该提供很大的数据带宽，能够在单一集群中扩展几百甚至数千个节点，并且一个HDFS实例应该能够支持几千万个文件。
● 简单的一致性模型。
HDFS应用程序访问文件是一次写多次读模式。文件一旦被创建，对该文件只能执行追加或彻底清除操作。追加的内容只能写到文件尾部，而文件中已有的任何内容都不能被更新。
● 移动计算而不是移动数据。
通常，将计算移动到临近数据的位置，比把数据移动到应用运行的位置要好。HDFS为应用程序提供接口，把计算移动到数据所在位置。
● 便捷访问异构的软硬件平台。
HDFS能够很容易地从一个平台迁移到另一个，这种便利性使HDFS为大量应用程序所采用。