蓬莱道人的博客

1、GFS的设计2、系统交互3、Master节点的操作4、容错和诊断1、GFS的设计 GFS（Google File System）是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上。GFS 提供了一套类似传统文件系统的 API 接口函数，虽然并不是严格按照 POSIX 等标准 API 的形式实现的。文件以分层目录的形...

1、MapReduce介绍2、编程模型3、MapReduce的实现4、技巧1、MapReduce介绍 MapReduce 是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个 Map 函数处理一个基于 key/value pair 的数据集合，输出中间的基于 key/value pair 的数据集合；然后再创建一个 Reduce 函数用来合并...

1、飞天（Apsara）简介2、伏羲系统架构3、增量式资源管理协议4、容错任务调度1、飞天（Apsara）简介 阿里云飞天（Apsara）是由阿里云开发的一个大规模分布式计算系统，其中包括飞天内核和飞天开放服务。 飞天内核负责管理数据中心Linux集群的物理资源，控制分布式程序运行， 隐藏下层故障恢复和数据冗余等细节，有效提供弹...

1、BigTable简介2、数据模型3、BigTable所用到的构件4、BigTable架构1、BigTable简介 GFS是文件级别的分布式存储，那BigTable则是表级别的分布式存储。Bigtable 是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的 PB 级的数据。Bigtable 的设计目的是可靠的处理 PB 级别的数...