![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
文章平均质量分 72
dwx2046
这个作者很懒,什么都没留下…
展开
-
mapreduce原理和执行过程
说明:下面的图来自南京大学计算机系黄宜华老师开设的mapreduce课程的课件,这里稍作整理和 总结。本文旨在对接触了mapreduce之后,但是对mapreduce的工作流程仍不是很清楚的人员,当然包括博主自己,希望与大家一起学习。一、mapreduce的原理MapReduce借鉴了函数式程序设计语言Lisp中的思想, Lisp(List processing)转载 2016-03-14 20:35:37 · 390 阅读 · 0 评论 -
分布式系统基本概念-----副本一致性和分布式系统衡量指标
副本( replica/copy)指在分布式系统中为数据或服务提供的冗余。分为数据副本和服务副本,对于数据副本指在不同的节点上持久化同一份数据,当出现某一个节点的存储的数据丢失时,可以从副本上读到数据。数据副本是分布式系统解决数据丢失异常的唯一手段。另一类副本是服务副本,指数个节点提供某种相同的服务,这种服务一般并不依赖于节点的本地存储,其所需数据一般来自其他节点。副本的一致性:分布式原创 2016-06-12 17:01:55 · 1900 阅读 · 0 评论 -
分布式系统基本概念(一致性、数据分布、复制策略、分布式协议)
分布式系统基本概念异常类型1 服务器down机(随时发生、内存数据丢失(因此需要考虑数据持久化)、down机重启之后要恢复内存信息)2 网络异常(消息丢失、消息乱序(UDP)或者网络包数据错误、区域内可通信区域间不可通信)3 磁盘故障(磁盘损坏(备份)、磁盘数据错误(校验和解决))超时?不能简单的当做失败(分布式存储的3态成功、失败、超时)一致性副本是分原创 2016-09-03 22:00:25 · 6298 阅读 · 0 评论