![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式系统
文章平均质量分 88
黄杨峻
这个作者很懒,什么都没留下…
展开
-
分布式一致性协议Raft(一)
铺垫 一个设计良好的分布式系统,应具备四大特点: 并行性能(parallel performance):任务能均衡高效地在多台机器上执行,无需过高的通讯和锁消耗。 容错性(fault-tolerance):少部分机器的宕机并不会影响整体任务的完成,且宕机机器重启后有办法重新加入到工作中。 冗余性(replication):重要的决定性的数据,如log,必须拷贝多份分布在多台机器上,以防某台机器宕机丢失数据导致系统无法正常运行。一个好的冗余策略应该考虑机架、网络、甚至地域的分散。一般保证冗余的策略有两种原创 2022-01-24 16:34:44 · 2164 阅读 · 0 评论 -
分布式文件系统Google File System(GFS)
Google File System(GFS)是一个经典的面向大规模数据的分布式文件系统。它具有高性能、可拓展、可靠的特性。GFS在分布式领域的江湖地位相信不用多谈。BigTable,MapReduce和GFS向来有谷歌三驾马车之说。今天就来简单聊聊GFS的系统架构、以及谷歌针对Fault-tolerance、Consistency、Garbage collection、Balance、Recovery等一系列问题是如何提出合理解决方案的。 一、系统架构 GFS系统的参与者有包括了发起读写请求的客户端Cli原创 2022-01-15 18:21:13 · 1941 阅读 · 0 评论 -
MIT 6.824 lab1方案设计
凡事预则立,不预则废 – 《礼记·中庸》 Coordinator 流程: 读入:Coordinator接收传入文件参数。每个文件都作为独立的文件。MMM 等于文件数量。然后这些任务都用Task结构体保存。Task记录任务的文件名,id(独立生成),类型(Map or Reduce)以及状态(completed,in-progress,idle)。这些Task会被生产到一个channel中,后续所有的任务调度都通过Channel来实现。 MapStage :主要是分发各种MapTask。使用一个数组记.原创 2022-01-05 20:34:18 · 289 阅读 · 0 评论 -
MapReduce工作原理与工作流程
文章目录一、背景二、工作原理和流程2.1 核心函数Map & Reduce2.2 流程2.3 任务调配2.4 容灾问题Worker FailureMaster Failure确定性2.5 效率提升CombinerReaderstraggler本地调试状态监控 一、背景 在大型网站系统,尤其是搜索网站中,系统常常需要处理海量数据,譬如在我关于搜索引擎的博客中提到的倒排索引,TF-IDF矩阵,PageRank ,数据的量级通常是TB甚至PB级别的,单机无法在短时间完成任务。 博客传送门 搜索引擎(一原创 2022-01-03 19:46:03 · 3356 阅读 · 0 评论