![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式系统
文章平均质量分 86
JoinApper
这个作者很懒,什么都没留下…
展开
-
Zookeeper系列二:Java API介绍
之前曾经介绍了Zookeeper的一些基础概念以及一些shell操作,这次笔者将介绍一下如何通过Java API操纵Zookeeper,并且通过Zookeeper实现一个简单的分布式锁服务。原创 2023-04-22 21:20:58 · 171 阅读 · 0 评论 -
Zookeeper系列一:基础概念
对于每个接触过大数据开发的同学而言,Zookeeper一定是不陌生的。它是一个开源的分布式服务框架,主要的用处就是为其他分布式框架的稳定运行提供服务。它有很多应用场景,比如分布式配置管理、分布式锁等。笔者将从架构设计、数据模型、选举机制、读写数据流程、Watch机制五个方面展开。原创 2023-04-22 21:19:47 · 144 阅读 · 0 评论 -
分布式锁详解
分布式锁是指分布式环境下,系统部署在多个机器中,实现多进程分布式互斥的一种锁。为了保证多个进程能看到锁,锁被存在公共存储(比如 Redis、Memcached、数据库等三方存储中),以实现多个进程并发访问同一个临界资源,同一时刻只有一个进程可访问共享资源,确保数据的一致性。原创 2021-12-06 22:34:55 · 909 阅读 · 0 评论 -
分布式事务
分布式事务 前言 对于网上购物的每一笔订单来说,电商平台一般都会有两个核心步骤:一是订单业务采取下订单操作,二是库存业务采取减库存操作。 通常,这两个业务会运行在不同的机器上,甚至是运行在不同区域的机器上。针对同一笔订单,当且仅当订单操作和减库存操作一致时,才能保证交易的正确性。也就是说一笔订单,只有这两个操作都完成,才能算做处理成功,否则处理失败,充分体现了“All or nothing”的思想。 在分布式领域中,这个问题就是分布式事务问题。 什么是分布式事务 学过数据库的人都知道什么是事务: 事务(T原创 2021-12-06 20:59:19 · 119 阅读 · 0 评论 -
MapReduce总结
目录 MapReduce总结 前言 MapReduce编程模型 MapReduce的应用场景 MapReduce的实现机制 MapReduce的协同 MapReduce的容错 MapReduce的性能优化 把程序搬到数据那儿去 通过 Combiner 减少网络数据传输 备份任务 MapRedcue的debug信息 遗憾与缺陷 总结 参考 MapReduce总结 前言 MapReduce是一个分布式计算的框架,由Google在2004年的论文中发表,之前已经对该论文进行原创 2021-11-21 20:45:47 · 1771 阅读 · 0 评论 -
The Design of a Practical System for Fault-Tolerant Virtual Machines论文翻译
Fault-Tolerant ABSTRACT 通过提供故障容错性的虚拟机,我们已经实现了一个商业化的企业级系统,它建立在复制一个主虚拟机的执行过程到另一个服务器上的备用虚拟机的基础上。我们已经在VMware vSphere4.0上设计了一个完整的系统,它运行在商业用的服务器上,很容易使用,同时应用的性能通常仅有少于10%的降低。另外,为了让主VM和二级VM的执行活动保持一致,对于几个实际的应用而言,需要的数据带宽少于20Mbit/s,这也允许实现更长距离的故障容错的可能性。一种容易使用,在故障后自动恢复备原创 2021-10-09 08:22:25 · 270 阅读 · 0 评论 -
MapReduce论文翻译
目录 前言 Abstract Introduction Programming Model Example Types More Examples Implementation Execution Overview Master Data Structures Fault Tolerance Refinements Conclusions 结论 前言 最近在开始学习6.824分布式系统,第一节课就要求读Google在2004年发表的《MapReduce:Simplified D原创 2021-08-30 13:41:11 · 827 阅读 · 0 评论