MPP架构

MPP架构是一种大规模并行处理技术,应用于分布式数据库中,如Greenplum和Doris。它通过将任务分散到多个节点并行处理,提供高扩展性、高可用性和高性能。MPP数据库如Greenplum具有低成本、高并发和行列混合存储等特性,但扩展性受到高可用性、文件系统、网络瓶颈等因素限制。相比Hadoop,MPP更适合结构化数据和SQL查询,而Hadoop则更适用于大规模非结构化数据处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

什么是MPP架构

MPP (Massively Parallel Processing),即大规模并行处理。

并行处理:

    在数据库集群中,首先每个节点都有独立的磁盘存储系统和内存系统,其次业务数据根据数据库模型和应用特点划分到各个节点上,MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果。

大规模:

    每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供数据库服务。整个集群称为非共享数据库集群,非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。

以上和Doris的设计架构一致所以我们称Doris是一个分布式的、面向查询的分布式数据库。主要部分是SQL,它在内部使用MPP技术。如下图

0

2、架构特性

MPP 具备以下技术特征:

1) 相对低的硬件成本:完全使用 x86 架构的 PC Server,不需要昂贵的 Unix 服务器和磁盘阵列;

2) 集群架构与部署:完全并行的 MPP + Shared Nothing 的分布式架构,采用 Non-Master 部署,节点对等的扁平结构;

3) 海量数据分布压缩存储:可处理 PB 级别以上的结构化数据,采用 hash分布、random 存储策略进行数据存储;同时采用先进的压缩算法,减少存储数据所需的空间,可以将所用空间减少 1~20 倍,并相应地提高

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值