分布式学习
文章平均质量分 95
holdonbush
个人博客:http://www.holdonbush.top
展开
-
Raft算法理解
本文是论文《In Search of an Understandable Consensus Algorithm (Extended Version)》的阅读总结和Mit6.824 Lab2的实验总结。原创 2022-05-11 12:56:43 · 340 阅读 · 0 评论 -
一步一步完成 MIT-6.824-Lab1 : MapReduce 之三
一步一步完成 MIT-6.824-Lab1 : MapReduce 之三 GitHub代码仓库:Mit-6.824-Lab1-MapReduce 接上文 步骤四 目标 定期的,这些内存中的中间值会经过一个用户自定义的 Partition 分割函数,分成 N 份,(即 reduce task 的数量)。然后写到本地的磁盘中。这些文件的存放位置需要发送给 Master, 以保证能够被正确找到,进行 r...原创 2020-02-23 13:24:28 · 1401 阅读 · 12 评论 -
一步一步完成 MIT-6.824-Lab1 : MapReduce 之二
一步一步完成 MIT-6.824-Lab1 : MapReduce 之二 GitHub代码仓库:Mit-6.824-Lab1-MapReduce 接上文 步骤三 目标 被分配了 map 任务的 worker, 读取对应的 input 中的内容。通过 Map 函数,完成对输入内容的解析。解析的结果是一系列的 key/value 对。这些 key/value 对被称为中间值,被暂存在内存中。 我们的实...原创 2020-02-23 13:22:31 · 1773 阅读 · 1 评论 -
一步一步完成 MIT-6.824-Lab1 : MapReduce 之一
一步一步完成 MIT-6.824-Lab1 : MapReduce 之一 GitHub代码仓库:Mit-6.824-Lab1-MapReduce 回顾上一篇博文中提到了 MapReduce 论文, 本次的 MIT 的 Lab1-MapReduce, 可以根据论文中提到的完成一个 MapReduce 系统的步骤来完成,此处大致列下步骤,当然,当然,没有列出细节部分。本次实验就根据这个步骤来一步一步的...原创 2020-02-23 13:21:38 · 2109 阅读 · 10 评论 -
《MapReduce:Simplified Data Processing on Large Cluster》 阅读笔记
介绍 MapReduce是一种编程模式,以及与之相关的用于处理和生成大数据集的实现。其运作方式可以简单概括为以下步骤:一个大的输入被分成很多个小的输入块,同时,一个分布式系统中存在的多个计算机,组成一个大的计算机集群,这些分出来的小的输入块将会被集群中的计算机来执行,由一个 master 机器来分发人物。这些用于计算的机器成为 worker。master 将这个小的输入块分配给 worker,接下...原创 2020-01-29 19:22:43 · 562 阅读 · 0 评论