分布式系列
五癫
武汉理工大学软件工程
展开
-
ROW/COW 快照技术原理解析
版权声明:转载请注明出处 JmilkFan:http://blog.csdn.net/jmilk目录(?)[+]NOTE:ROW/COW 最新更新请跳转《再谈 COW、ROW 快照技术》目录目录快照与备份的区别Snapshot 快照技术全量快照增量快照COW 写时拷贝快照技术ROW 写时重定向快照技术最后快照与备份的区转载 2017-08-20 12:22:05 · 9932 阅读 · 0 评论 -
负载均衡(Load Balancing)学习笔记三——负载均衡算法
引入在业务开发中,我们常把数据持久化到数据库中。如果需要读取这些数据,除了直接从数据库中读取外,为了减轻数据库的访问压力以及提高访问速度,我们更多地引入缓存来对数据进行存取。读取数据的过程一般为:图1:加入缓存的数据读取过程对于分布式缓存,不同机器上存储不同对象的数据。为了实现这些缓存机器的负载均衡,可以使用式子1来定位对象缓存的存储机器:m = hash(o) mod转载 2017-09-20 09:59:03 · 667 阅读 · 0 评论 -
负载均衡(Load Balancing)学习笔记一
概述在分布式系统中,负载均衡(Load Balancing)是一种将任务分派到多个服务端进程的方法。例如,将一个HTTP请求派发到实际的Web服务器中执行的过程就涉及负载均衡的实现。一个HTTP请求到达Web服务器,这中间涉及多个过程,也存在多种不同负载均衡的方法。本文讲述负载均衡的基本原理与派发策略,下图1是负载均衡的基本原理图,图1中客户端的请求请求经过达负载均衡器(Load Balanc转载 2017-09-19 16:30:54 · 480 阅读 · 0 评论 -
以两军问题为背景来演绎Basic Paxos
背景在计算机通信理论中,有一个著名的两军问题(two-army problem),讲述通信的双方通过ACK来达成共识,永远会有一个在途的ACK需要进行确认,因此无法达成共识。两军问题和Basic Paxos非常相似1) 通信的各方需要达成共识;2) 通信的各方仅需要达成一个共识;3) 假设的前提是信道不稳定,有丢包、延迟或者重放,但消息不会被篡改。Basic Paxos最早转载 2017-09-11 14:06:08 · 289 阅读 · 0 评论 -
Paxos算法细节详解(一)--通过现实世界描述算法
Paxos分析最近研究paxos算法,看了许多相关的文章,概念还是很模糊,觉得还是没有掌握paxos算法的精髓,所以花了3天时间分析了libpaxos3的所有代码,此代码可以从https://bitbucket.org/sciascid/libpaxos 下载。对paxos算法有初步了解之后,再看此文的效果会更好;如果你也想分析libpaxos3的话,此文应该会对你有不小帮助;关于paxos的转载 2017-09-11 13:29:24 · 203 阅读 · 0 评论 -
主从架构如何进行数据同步
1.什么是主从数据同步当master(主)节点的数据发生变化的时候,变化会实时的同步到slave(从)节点。2.主从同步的好处(1)水平扩展负载能力(主要通过读写分离)(2)容错、高可用(通过主从机制的维持,主节点失效,通过共识算法选出一个新主节点作为主节点,我们还可以接入很多从节点)(3)数据备份3.主从同步的原理我们以常见的mysql数据库的主从机制原创 2017-09-17 10:28:24 · 6321 阅读 · 0 评论 -
谷歌三大论文之一-MapReduce
摘要MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于 key/value pair的数据集合,输出中间的基于key/value pair的数据集合;然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模型的例子, 本论文将详细描述这个模型。MapRedu翻译 2017-08-20 18:55:01 · 10734 阅读 · 1 评论 -
谷歌三大论文之一-Google File System读书笔记
1.GFS主要需要关注的几个问题是什么?(1)系统由许多廉价的普通组件组成,组件失效是一种常态。系统必须持续监控自身的状态,它必须将组件失效作为一种常态,能够迅速地侦测、冗余并恢复失效的组件(2)系统存储一定数量的大文件,以通常的标准衡量,我们的文件非常巨大,采用管理数亿个KB大小的小文件的方式非常不明智,因此,设计的假设条件和参数,比如I/O操作和Block的尺寸都需要重新考虑(3)原创 2017-08-20 13:45:08 · 5460 阅读 · 1 评论 -
负载均衡(Load Balancing)学习笔记二
概述文章负载均衡(Load Balancing)学习笔记(一) 讲述了负载均衡的一般性原理,本文继续介绍常见的实现负载均衡的方法。HTTP重定向HTTP重定向服务器是一台普通的Web服务器,用户的请求先到达重定向服务器,这台服务器会挑选一台后端服务器的地址(例如使用轮询的方式),并将该地址写入HTTP重定向响应结果中(以响应状态码302返回)返回给用户。用户将根据这个新的地址重新发送请转载 2017-09-19 17:23:43 · 541 阅读 · 0 评论