分布式
文章平均质量分 61
qq_38420683
这个作者很懒,什么都没留下…
展开
-
【论文笔记】OSDI04 MapReduce: Simplified Data Processing on Large Clusters
overview 论文地址 google的经典论文。 MapReduce是一种编程模型(类似于现在的框架),主要是将分布式算法进行了抽象,MP负责处理分布式中的容错、通信等,程序员只需要关注具体的业务实现,即Mapper和Reducer的逻辑。 整个模型的输入是 key/value对 集合,输出也是若干的 key/value对集合。用户需要自定义两个函数,map和reduce。map是将输入的KV进行处理,转为中间KV,中间KV交给reduce处理,最终输出结果。以字数统计为李,输入的是文档,k是文件名,V原创 2021-10-20 11:27:28 · 806 阅读 · 0 评论 -
6824入门坑 go build 错误
在6824开始学习时,遇到的第一个坑。按照说明执行,结果go build失败,找不到 package “6.824/mr” 6824down下的包含了src目录,故将Gopath设置到src的父级目录即可,使得$Gopath/src该目录是合法的。 设置GoPath cd 6.824 ls # Makefile src export GOPATH=`pwd` // 仅在当前终端有效,关闭后无效 go env // 查看环境设置 # GOPATH=当前的目录 按照教程进入 src/main目原创 2021-09-08 22:14:50 · 4012 阅读 · 7 评论