大数据架构简述（五）：资源管理、存储、云

1.资源管理

1.1 资源管理的目标

子系统的高效调度、提高全系统的资源利用率、支持动态调整切分资源、增强系统扩展性

1.2 Hadoop领域的资源调度框架

Hadoop领域的资源调度框架主要有YARN、Mesos、Borg、Omega等

1.3 资源分配算法

Mesos采用Dominant Resource Fair(DRF)调度算法

YAN实现了FIFO Scheduler、CapacityScheduler、Fair Scheduler等调度算法

2.存储

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

3.云

大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。