并行计算、分布式计算、集群概念及区别（初学者待更新）

并行计算

并行计算是相对于串行计算来说的，并行计算主要目的是加速求解问题的速度和提高求解问题的规模。为了利用并行计算求解一个计算问题，通常基于以下考虑：1.将计算任务分解成多个子任务，有助于同时解决；2.在同一时间，由不同的执行部件可同时执行多个子任务；3.多计算资源下解决问题的耗时要少于单个计算资源下的耗时。

分布式计算

分布式计算主要研究分散系统如何进行计算。分布式结构就是 将一个完整的系统，按照业务功能，拆分成一个个独立的子系统（称为“服务”）。 这些子系统能够独立运行在web容器中，它们之间通过RPC方式通信。
优点：资源利用率高
缺点：安全性低，如果一台服务器出现问题整个系统就会崩塌。

分布式与并行计算的区别

相同点：
都属于高性能计算，对大数据进行分析和处理，把大任务分为n个小任务。
不同点（简单理解）：
分布式计算会是节点之间不通讯，系统之间通讯。
并行计算是一个系统，节点之间共享内存，通讯。

集群

集群是 多台服务器组成的一组计算机，作为一个整体存在，向用户提供一组网络资源，这些单个的服务器就是集群的节点。
两大特点：
可扩展性：支持动态添加计算机（节点）到集群。
高可用性：当其中一个节点发生故障时，该节点上的应用程序会被其他节点接管。
优点：操作简单，容易部署；
缺点：每个节点负载相同（耦合度高），每个具体业务的访问量可能差异很大。

分布式与集群的联系和区别

相同点:
都是连接多台计算机（服务）
分布式的每一个节点，都可以用来做 集群。
实际场景：先分布式再集群，即一个业务拆分成很多子业务（分布式），然后针对每个子业务进行集群部署，这样每个子业务如果出了问题，整个系统完全不会受影响。
不同点：
分布式是 指将不同的业务分布到不同的计算机，一台坏掉，整个业务崩溃。
集群是 指将几台服务器集中在一起，实在同一个业务，一台坏掉不影响。