云计算第六章云平台应用（1）从GFS到Hadoop HDFS2.0设计原理与基本构成 Yarn设计原理与基本构成 MapReduce2.0基本原理与架构HDFS分布式存储系统 YARN：分布式计算

最新推荐文章于 2024-11-04 17:34:30 发布

学习记录wanxiaowan

最新推荐文章于 2024-11-04 17:34:30 发布

阅读量279

点赞数

分类专栏：数据库|云计算概论|计算机网络文章标签： hadoop 分布式云计算

本文链接：https://blog.csdn.net/weixin_43428283/article/details/106961382

版权

数据库|云计算概论|计算机网络专栏收录该内容

173 篇文章 60 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了云平台应用，重点讲解了从Google的GFS到Hadoop的演进，包括HDFS2.0、YARN和MapReduce2.0的设计原理。GFS是一个分布式文件系统，而MapReduce是一种分布式并行计算模型。Hadoop是GFS和MapReduce的开源实现，HDFS是其分布式存储部分，YARN则是资源管理和调度框架。

摘要由CSDN通过智能技术生成

关注公众号凡花花的小窝，收获更多的考研计算机专业编程相关的资料
第6章云平台应用
目录
从GFS到Hadoop
HDFS2.0设计原理与基本构成
Yarn设计原理与基本构成
MapReduce2.0基本原理与架构

海量数据管理技术----GFS
Google文件系统（Google file system）是一个大型的分布式文件系统。它为Google云计算提供海量存储，并且与Chubby，MapReduce以及BigTable等技术结合十分紧密，形成Google的云计算解决方案。其中，Google的三驾马车:Google fs、Mapreduce、Bigtable。
GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，提供容错功能。
MapReduce是针对分布式并行计算的一套编程模型。就像文件系统需要数据库来存储结构化数据一样，GFS也需要Bigtable来存储结构化数据。

1）BigTable 是建立在 GFS ，Scheduler ，Lock Service 和 MapReduce 之上的。
2）每个Table都是一个多维的稀疏图
3）为了管理巨大的Table，把Table根据行分割，这些分割后的数据统称为：Tablets。每个Tablets大概有 100-200 MB，每个机器存储