金声玉振-数据库技术和生态变革创新的十年

墨墨导读:2020数据技术嘉年华于11月21日落下帷幕,大会历时两天,来自全国各地的数据领域学术精英、领袖人物、技术专家、从业者和技术爱好者相聚北京,见证了个人的快速成长、技术的迭代进步、行业的蓬勃发展、生态的融合共赢,以及市场的风云变迁。

本文根据盖国强老师在2020数据技术嘉年华演讲速记以及PPT整理而成。

(全文第一人称描述,代指盖老师)

以下为正文:


2020数据技术嘉年华 盖国强先生现场演讲

数据库的发展,我仍然是看成三个时代:从Oracle代表的商业数据库时代,MySQL代表的开源时代,以及云数据库时代,或者新数据库时代。在云数据库时代中,真正有一大批国产数据库成长起来了,走上了历史的舞台。

国产数据库中,OceanBase是从2010年开始的(今年是他们的十周年);2012年的TDSQL;2014年的GoldenDB;2015年的TiDB;2017年的PolarDB;以及2019年的GaussDB,并且GaussDB在今年6月份,开源了openGauss这个品牌。所以整个数据库进展到一个新的时代,这个新的时代不仅仅是云,还有国产各种形态百花齐放。

我把以上六位嘉宾的产品各自选择了一个案例,给大家推荐一下。

我们知道阿里云的PolarDB已经支持了国计民生很多领域,去年支持了中国邮政,双11也取得了非常好的成绩;GaussDB 在工商银行的金融场景中替代了国外的产品;北京银行使用了TiDB;OceanBase 在上海外滩大会发布了西安银行的互联网交易替换;GoldenDB在中信银行,从去年的信用卡核心到今年的交易核心上线;TDSQL最新的案例则是昆山银行。

我们看到这些数据库产品都在非常重要的生产实践中得到应用,而且几乎都是分布式数据库,不经意间,分布式数据库已经走上了历史舞台,并且落地开花了。那么分布式数据库是什么时候流行起来的,并且可能成为未来的演进趋势呢?


分布式数据库来源于用户需求的驱动,用户的需求是什么呢?是海量高并发的应用场景、是互联网式的应用创新,在这样的业务驱动之下,用户的原生自主演进就是读写分离、分库分表。有了用户的业务驱动创新,最后数据库厂商把这些特性做进了数据库产品里面去,到数据库内部其实是什么呢?是分区、分片、分块,进程的拆分。数据库内部的分区分表,最后演进到了分布式。

不管我们谈的是Scale-Out还是Scale-Up,本质上都是希望通过各种技术提高性能和承载能力,这些本质上的技术是什么?不外乎是并行和分布式。技术的进步来自于用户的需求驱动。

在很长一段时间内,分布式和集中式是存在争议的,这是一个路线之争。分布式技术在什么时间取得了突破式进展呢?谷歌的三驾马车在这起到了奠基作用,Google 的 File System、Google MapReduce、Google BigTable,这几篇论文奠定了分布式数据库的基础,分布式技术在这之后得到了很好的发展。为什么在这个演进过程中几乎没有人提到 Oracle?

我在这里引用了一篇文章,2008年Oracle有一篇非常好的文章,他说Global Scale Web 2.0,这是一个非常久远的历史了,Web 2.0 大家可能都不记得了。这篇文章描述了,在分布式架构下应用的设计和局限,这里引用了其中一些关键的观点。

  • Sharding,它是联合使用众多独立数据库的应用管理扩展技术,本身是应用管的,在应用上要做出很多的适配,数据要切分成多个数据库,每个数据库存储一个数据子级,是这样来实现的。

  • 要实现这样的架构(使用分片),应用程序要为此做出让步,做出大量的修改,要基于Shard 去做应用的设计,要尽量避免跨库的join。为了实现本地化的连接,可能要反范式去设计你的数据模型。所以你面对的是这样的一些挑战。

  • 分片式架构的一个变体实现是,在分布式里面每个数据库都承载了全量数据,其中有一个数据库承载了写请求,其他是承载读,这样我将读写分开。它的好处是每个库承载全量数据,复杂查询就在本地完成了,还不需要进行re-Shard。阳老师所讲的OceanBase就是类似于这样架构的变体实现。每个库都是一个全量库,当然它的每个数据库又可以进行分区分布。

这几个观点来自于Oracle的这篇文章,当然它是作为反面示例来陈述的,它们都有缺陷。在那之后,一直到了2017年Oracle才推出了Sharding数据库组件,也就是分布式的数据库,整整过去了十年。


Oracle数据库历程是怎样走过来的?它如何走过了从单机、主备、集群到分布式?

Oracle走过的这条路很难被超越,我们要学习和借鉴、研究它,这条路仍然不会变。

从8i这个时代,1998年Oracle这时候的版本叫Internet,它理解互联网的历史非常久远。这个时代我认为有非常重要的一件事情,今天对于所有的国产数据库厂商要借鉴的,这个时候就做了在线支持系统 - Metalink,很多同学知道它意味着什么,能够及时的获取你想知道的知识,解决问题的提示,已知的bug,提交的问题,每个厂商都应该建立的一个系统

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值