分布式
文章平均质量分 92
牧心.
心之所向,素履以往
展开
-
【分布式 论文】之 1. MapReduce——Simplified Data Processing on Large Clusters
MapReduce是一个用于处理和生成大型数据集的编程模型和相关实现。用户指定处理键/值对的map函数来生成一组中间键/值对,以及合并与同一中间键相关的所有中间值的reduce函数。如本文所示,该模型可以表达许多现实世界中的任务。用这种函数式风格编写的程序可以自动并行化,并在大型的商品机器集群上执行。运行时系统负责对输入数据进行分区、跨一组机器调度程序执行、处理机器故障和管理所需的机器间通信等细节。这使得没有任何并行和分布式系统经验的程序员可以轻松地利用大型分布式系统的资源原创 2023-04-09 01:59:51 · 1609 阅读 · 1 评论 -
分布式锁的介绍与实现
本篇文章将会剖析分布式锁,以及三种实现分布式锁的方法,包括基于数据库实现、基于缓存(Redis)实现、以及基于Zookeeper实现。原创 2022-12-11 00:31:08 · 6229 阅读 · 0 评论 -
分布式数据 之 分区
在文中,我们探讨了将大数据集划分成更小的子集的不同方法。数据量非常大的时候,在单台机器上存储和处理不再可行,则分区十分必要。分区的目标是在多台机器上均匀分布数据和查询负载,避免出现热点(负载不成比例的节点)。这需要选择适合于您的数据的分区方案,并在将节点添加到集群或从集群删除时进行再分区。原创 2023-03-23 02:34:05 · 6230 阅读 · 0 评论 -
分布式数据 之 复制
本主要讨论了分布式数据存储系统中的数据复制和一致性问题。以下是本文的主要内容总结:1. 副本复制的意义和挑战1.1 副本复制的意义1.2 副本复制的挑战2. 复制协议2.1 单主复制2.2 多主复制2.3 适用场景2.4 总结3. 一致性协议3.1 强一致性3.2 最终一致性3.3 权衡比较4. 数据同步的实现4.1 基于日志的同步4.2 基于全量复制的同步4.3 基于增量复制的同步5. 保证一致性5.1 复制协议5.2 时间戳原创 2023-03-20 19:00:57 · 6459 阅读 · 0 评论