分布式初探

最新推荐文章于 2024-09-14 14:08:20 发布

FlorianFang

最新推荐文章于 2024-09-14 14:08:20 发布

阅读量214

点赞数

文章标签：分布式架构

本文链接：https://blog.csdn.net/weixin_43762200/article/details/89684816

版权

Why 分布式系统?

分布式系统(Distributed system)是相对集中式系统来讲的。集中式就是所有程序都运行在一个机器上。在这种情况下，当程序和数据变得越来越多、越来越大时，单个机器就得提高性能和存储容量，比如增加CPU核数和增加存储空间。但是在一个机器上扩展性能会有两个问题：

一是这个机器任何一个部件（硬件或软件bug）坏掉整个系统就崩溃，没有冗余性；
二是单个机器的性能扩展总会有极限

因此，为了使系统有扩展性(scalability) , 单机器系统要重新设计成分布式系统，说白就是多个机器（称为节点 node）通过网络连接在一起、共同执行某个任务。一个分布式系统可以进行分布式计算和/或分布式存储。多个机器可以执行相同的程序（此时称为集群 cluster），也可以执行不同的程序。

分布式 vs 并行计算

显然，分布式是具有并行特点，但与分布式相对的是集中式，而与并行相对应的则是sequence computing. 实际上，分布式计算都是并行计算，但并行计算不都是分布式的，例如一台电脑多核CPU，可并行计算，但就是集中式系统。
分布式计算主要是为了系统扩展性，而并行计算是为了提高运算效率；
分布式计算没有global的时钟，而并行计算有；
分布式的节点拥有相互独立的内存，或者说内存是不共享的，而并行计算共享内存。

分布式难点

为了使系统能解决更大size的问题，我们增加机器数量；但系统性能不一定随机器数量而线性增长。实际上，分布式系统存在如下难点：

数据如何拷贝到不同节点上？拷贝完了不同节点拥有的数据是否还有一致性？
不同节点间的通讯如何协调？
一个任务里的多个程序可能要有先后的执行顺序，但不同节点没有global的时钟，如何协调执行顺序？
不同节点上的机器不同的（硬件，操作系统…），如何处理这些差异？
有的数据在节点间是共享的，如何保障数据的安全性？
…

一个分布式系统的好坏可以大致地由两个方面来衡量：

性能 / 延迟 (performance / latency)
就是给定时间/计算资源，系统能干多少活。可以通过相应时间/延迟、内存利用率等指标来衡量。
可用性 (availability)
就是系统可用的时间和总运行时间的比率。整个系统可用不必要说每个节点、每个节点间的链接都可用。实际上，分布式系统应该是可容错(fault tolerant)的，由于存在冗余，一个部分挂掉系统仍有可能正常运行。好的分布式系统其实不要求每个机器都质量超好、超可靠，只要组合起来的整个系统可靠就行。

当我们增加系统节点数时，可能会：

增加整个系统挂掉的可能性（降低可用性）
增加节点间的通讯需求（降低性能）
如果节点存在地理上的距离，还会增加信息传输的时间（降低性能）

所以，分布式系统设计将着力解决以上问题。

数据如何分发到不同节点？

两种基本技术：

Partitioning
就是把数据分割成多个独立的不同子集，分发到不同节点上
Replication
这个则是把相同的数据copy几份放在不同节点上

partitioning和replication都有利于提高系统的性能和可用性：

	Availability improvement	Performance improvement
partitioning	by limiting the amount of data to be examined and by locating related data in the same partition	by allowing partitions to fail independently, increasing the number of nodes that need to fail before availability is sacrificed
replication	by making additional computing power and bandwidth applicable to a new copy of the data	by creating additional copies of the data, increasing the number of nodes that need to fail before availability is sacrificed

实现partitioning和replication的算法有很多种，具体用哪一种视问题而定。