数据仓库的发展(粗)

一般来说,数据库承担着存储和计算的功能。早期数据库主要针对日常的事务处理,随着分析型应用的普及,分析型数据库应运而生,这个如今拥有数百亿美元存量并快速增长的市场,一直在吸引诸多公司加入。

比如,早年Oracle推出了Exadata,但因为只能储存在EMC这样的高端专有硬件上,成本高昂;且多节点共享存储设备,可拓展性差,往往只能支持十几个节点,灵活性不高。这种共享存储架构的数据仓库为第一代数据仓库。

针对这一问题,Teradata使用专有硬件实现了MPP(Massively Parallel Processing,大规模并行处理)数据库系统。EMC收购的Greenplum、 HP收购的Vertica等也是MPP架构,但是使用普通的x86服务器硬件,将各个计算节点的数据独立存在本地的硬盘上,将计算任务并行的分散到多个服务器和节点上。这些架构一般可以支持到上百个节点,但随着业务的复杂度和数据量提升,依然无法完全满足用户需求。这种MPP架构为第二代数据仓库。

为了解决MPP架构的可扩展性缺陷,以Hadoop为代表的数据库渐渐崛起。这些Hadoop数据库将数据存储在HDFS分布式文件系统上,扩展性强,可以延伸到上千个节点。但因为产品复杂度较高,但应用必须的ACID(Atomicity, Consistency, Isolation, Durability)特性支持弱,大多情况下性能和功能不如MPP系统,因此未能规模应用于企业核心场景。这种Hadoop SQL数据库(SQL-on-Hadoop)为第三代数据仓库。

伴随着云计算和AI的崛起,一系列新技术应运而生,云原生架构,存储与计算完全分离,大规模集群上事务特性的实现技术,可以同时解决MPP和Hadoop数据库的缺陷。OushuDB和Snowflake就是其中的两个代表产品,这类采用云原生架构设计的数据库为第四代数据仓库。新型数据库领域风起云涌。

Gartner认为云将主导数据库市场的未来,未来75%的数据库将被部署或迁移至云平台,只有25%的数据库会考虑部署在本地。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值