MPP架构 && 分布式架构

MPP架构 && 分布式架构

MPP
1.传统数仓中常见的技术架构，将单机数据库组成集群，提高整体性能
2.节点间为非共享架构（Sharing Nothing），每个节点都有独立的磁盘存储系统和内存系统（独立存储+独立计算），独立运行时不需要关心其他节点的情况和数据，如果需要用到其他节点的数据，各个节点之间通过专用网络或者商用网络，进行点对点交换，完成协同运算的过程
3.设计上先考虑C(一致性)，其次考虑A（可用性），尽量做好p（分区容错性）

架构优点
1.运算方式精细，延迟低，吞吐量低
2.适合中等规模的结构化数据处理

架构缺点
1.存储位置不透明，通过Hash确定数据所在的物理节点，查询任务在所有节点均会执行
2.并行计算时，单节点瓶颈会成为整个系统的短板，容错性差
3.分布式事务的实现会导致扩展性降低

分布式架构
1.大数据中较为常见的技术架构，也成为Hadoop架构/批处理架构
2.各节点实现场地自治（单独运行局部应用），数据在集群中全局透明共享
3.每台节点通过局域网或者广域网相连，节点间的通信开销较大，在运算时致力减少数据移动
4.优先考虑的时P（分区容错性），然后是A（可用性），最后再考虑C（一致性）

MPP+分布式架构
1.数据存储采用分布式架构中的公共存储，提高分区容错性
2.上层架构采用MPP，减少运算延迟

适用场景
1.MPP更适合中等规模的数据处理，延迟低，SQL支持率高
2.分布式更适合海量数据的批处理计算，吞吐较高，运算速度快，扩展性强