大数据
卖蘑菇的魔法师
软件工程师
展开
-
【翻译】MapReduce: 大集群上简化的数据处理
文章目录MapReduce: 大集群上简化的数据处理前言1.简介2.编程模型MapReduce: 大集群上简化的数据处理原文:MapReduce: Simplified Data Processing on Large Clusters作者:Jeffrey Dean and Sanjay Ghemawatjeff@google.com, sanjay@google.comGoogle, Inc.前言MapReduce是一种编程模型,和与之相关能处理与生成大量数据的实施手段。用户定义一个原创 2020-09-04 18:36:24 · 246 阅读 · 0 评论 -
【翻译】分布式系统工程 6.824 2017 第一课:概论
文章目录6.824: 分布式系统工程课程结构职员:课程组成:大课:阅读:测验6.824: 分布式系统工程什么是分布式系统?多台一起合作的计算机大型数据库, 点对点文件分享,MapReduce, DNS,等很多重要的基础设施都是分布式的!为什么要分布式?把现实中分开的部件连起来用分隔的方法实现安全性用复制数据的方法来容错通过并行的CPUs/mem/disk/net资源来扩容但是:复杂度:有很多并发的组件必须考虑到局部的失败优化性能需要一些技巧为什么上这门课?有意思原创 2020-09-03 10:12:12 · 248 阅读 · 0 评论