云计算复习笔记二

大数据的特点：

价值密度低、数据量大、快速、复杂度、多样

云计算的77个特点：

超大规模、虚拟化、高可靠性、通用性、高可伸缩性、按需服务、极其廉价

云计算按服务类型分为三类

SaaS software  as a service；

PaaS Paltform  as a service；

IaaS infrastructure as a service;

云计算实现机制：

SOA层，管理中间件，资源池层，物力资源层

Google云计算

GFS 分布式文件系统

gfs两系统节点分为三类节点；client、master、chunk server；

Master容错：Master命名空间；chunk与文件名的映射表；chunk副本的位置信息，每个chunk默认有三个直接保存在chunk server上。

chunk server容错：gfs采用副本的方式实现chunk server的容错；每个chunk又都个存储副本（默认三个）；对于每个chunk，必须将所有的副本全部写入成功，才是为写入成功；chunk默认大小为64MB；每个chunk一block为单位，大小为64KB，每个bolck为赢一个32位校验和。

MapReduce 分布式数据处理

Map函数：对一部分原始数据进行制定的操作。Map与Map之间是完全独立的，充分并行化。

Reduce函数：对每个Map函数产生的中间结果进行合并操作。

</