引言
10 年代,全球科技领域经历了前所未有的变革,而数据库技术的进化则在这一时代风云中占据了举足轻重的地位。从大数据浪潮的席卷到开源数据库的崛起,再到云计算驱动的去 IOE 运动,每一次技术革新都深刻改变了数据处理与存储的方式,也影响着无数技术从业者的职业路径。这十年间,无论是互联网巨头还是新兴创业公司,纷纷拥抱新技术、探索新模式,在数字化转型的赛道上不断突破。站在今天的节点回顾这段历史,我们不仅在观察技术的迭代,更是在追溯那些驱动变革的力量,探索未来发展方向的关键。本文将围绕这一年代的大数据运动、开源数据库兴起、去 IOE 运动背后的动机,以及云原生数据库的发展历程,深入解析这一波澜壮阔的十年,并以此为镜,重新审视技术变革如何塑造我们的职业生涯与人生选择。
中国数据库自研的崛起:从“棱镜门”到云计算时代
从“棱镜门”开始
2013年,美国前情报人员爱德华·斯诺登爆料,揭露了美国国家安全局(NSA)的“棱镜计划”,这一代号为PRISM的监控项目令全球震惊。斯诺登向《卫报》和《华盛顿邮报》递交了绝密资料,揭示了美国通过电信巨头Verizon收集数百万用户通话记录的内幕。消息一出,不仅美国公民感到不安,大量使用国外信息软硬件的中国公司也同样备受震动。
“棱镜门”事件爆发后,中国国内的安全意识陡然提升。出于信息安全的考虑,许多机构和企业开始转向国产数据库,而人大金仓、武汉达梦等厂商凭借这一契机斩获了大量订单。
但是就产品竞争力而言,当时国产数据库产品在与Oracle等国际巨头的竞争中依然差距显著。
Oracle经过近四十年的发展,功能极为强大,支持的SQL语句异常全面,其代码库庞大,足以令绝大多数公司望而却步。
国产数据库公司试图模仿并超越Oracle,注定是一条难以看到尽头的道路。
然而,技术进步并非一条笔直的赛道,数据库的发展涉及整个IT基础设施及应用生态的复杂交织,国产数据库公司在弯道超车中的机会,竟以一种出人意料的方式出现了。
“去IOE”行动
2009年,阿里巴巴的Oracle RAC集群节点数达到了创纪录的20个,数据量和并发量攀升至全国最高。这对系统稳定性提出了巨大挑战。为应对“超大容量”和“高并发”的难题,阿里的工程师们尝试通过冷热隔离的方式来优化系统,但由于Oracle缺乏弹性扩展功能,阿里不得不按照峰值流量购买小型机和数据库,这使得业务增长带来的喜悦还未持久,就得先支付来自Oracle的巨额账单。
于是,从2010年开始,淘宝决定不再采购ORACLE,转而依托MYSQL,研究并开发出适合阿里巴巴需求的MYSQL分支——AliSQL。这一决策标志着MYSQL开始在中国互联网领域崭露头角,并在此后的几年里迅速崛起,成为中国互联网企业的首选数据库之一。
2009年底,淘宝技术预算负责人刘振飞在一次汇报中向王坚提出了一个大胆的想法:_“2010年淘宝将不再购买IBM小型机。”
_这一提议在当时引起了不小的震动,毕竟IBM小型机在当时的IT架构中占据着举足轻重的地位。
然而,王坚却力排众议,坚定地支持了刘振飞的提议。他深知,淘宝要想在未来保持竞争力,就必须摆脱对昂贵硬件设备的依赖。于是,他告诉刘振飞:“既然我们已经决定在2010年不购买小型机了,为什么还要给自己留后路以后还可能购买呢?你应该在给董事会看的PPT上明确写一句_:淘宝2010年起不再购买小型机了。”
_
王坚的坚持和远见最终得到了董事会的支持。从此,淘宝开始了去IOE(去除IBM小型机、Oracle数据库和EMC存储设备)的技术转型之旅。这一转型不仅降低了成本,提高了系统的扩展性和灵活性,还为阿里巴巴未来的技术发展奠定了坚实的基础。
回顾这段历史,我们不禁为王坚的勇气和远见所折服。正是他的坚持和决策,让阿里巴巴在技术上实现了自主和创新,最终成就了今天的辉煌。
国产数据库突围
2010年,阿里巴巴正式启动“去IOE”计划,决定摆脱对IBM小型机、Oracle数据库和EMC存储的依赖。他们基于开源的MySQL开发了AliSQL,历时两年,成功将淘宝和天猫的所有数据库从Oracle迁移至AliSQL。
2012年双十一,AliSQL迎来了其首次重大考验。当年淘宝创下191亿元的成交额,数据库中一条热点记录每秒需要被修改十几万次。零点刚过,淘宝系统出现了半分钟的卡顿,整个阿里数据库团队心急如焚,但最终,AliSQL经受住了数据洪流的冲击。
讽刺的是,甲骨文并未意识到阿里已经彻底放弃Oracle。
2013年双十一过后,甲骨文仍然要求阿里补交根据350亿成交总额计算的服务费。摆脱了Oracle的束缚,阿里不再受其掣肘,AliSQL的成功证明了Oracle的神话并非不可打破。
然而,随着双十一流量屡创新高,AliSQL的性能逐渐逼近极限。双十一已成为全球独一无二的挑战,传统数据库已难以承载这巨大的流量波动。阿里云决定自研云原生数据库,从根本上解决问题。
2015年,阿里云没有选择模仿Oracle,而是另辟蹊径,投入开发基于云计算的数据库产品。
在Oracle的大本营美国,数据库行业也开始酝酿新的变革。2015年的AWS Invent大会上,亚马逊发布了自研的关系型数据库Amazon Aurora引领了云上数据库的变革,凭借其高性能和高可用性迅速吸引了大批客户。全球的云计算巨头在这一刻形成共识:数据库领域的新革命将由云计算引领。
埃里森起初对这一趋势不屑一顾,甚至在2008年嘲讽云计算“毫无意义”。但随着Aurora的成功发布,Oracle不得不转向云计算。2016年,埃里森宣布Oracle进军云计算领域,承认全球IT正在迎来从本地计算向云计算转型的关键拐点。
云计算带来的数据库变革不可逆转。
阿里云推出的PolarDB在2017年震撼行业:经典数据库需要70小时创建的10TB业务数据只读副本,PolarDB仅用2分钟就能完成,且成本仅为传统商用数据库的十分之一。同年,数据库领域的顶级专家李飞飞加盟阿里云,带领团队将PolarDB的架构推向更智能、更安全的未来。
OceanBase的崛起
相比传统数据库的艰难追赶,云数据库时代给了国内厂商更大机会。在全球市场上,国产数据库的崛起已不容忽视。
2018年,阿里云成为首个入选Gartner数据库魔力象限的中国公司,
2019年再次入选,展现了中国数据库厂商与全球巨头同台竞技的实力。
Oracle的阵地正在被云数据库厂商蚕食,在它占据绝对统治地位的金融领域,也开始受到挑战。
这次挑战它的是支付宝,不像淘宝可以当机立断作出向开源数据库迁移的决定。已经有3亿用户,一年有几十亿笔交易的支付宝直到2013年才敢把流水库的 1% 交给当时的自研分布式数据库OceanBase尝试。
但在那一年的双11,Oracle的上限只能满足支付宝流量的90%, OceanBase 必须要承担10%。为了通过这次考验,OceanBase的技术负责人阳振坤直接向时任支付宝CEO彭蕾立下了军令状。
2019年8月,OceanBase第一次向TPC-C测试发起冲击,OceanBase以两倍速度打破TPC-C测试纪录,将Oracle拉下了榜首。半年后,OceanBase再以11倍速度刷新了自己的成绩,Oracle滑至第三名。
云数据库时代的到来让曾经的巨头们面临前所未有的挑战,而新兴厂商如阿里云和AWS却在云上一路高歌猛进。德意志银行的分析报告显示,84%的中国企业有意愿上云,这股浪潮正推动阿里云、AWS成为新的领军者,而甲骨文因未能及时布局中国市场,错失了最佳发展时机。
以开源、分布式和云计算为核心的新数据库时代已经到来。在这场全球数据库竞赛中,国产厂商已经具备足够的底气。OceanBase和PolarDB等产品的成功不仅让国产数据库在国内市场站稳脚跟,更为其在全球市场赢得了一席之地。随着OceanBase宣布三年服务全球万家企业的目标,以及PolarDB持续发力,国产数据库已然在新时代的浪潮中乘风破浪。
腾讯的TDSQL探索
同样,腾讯的数据库研发同样源于内部需求,_在2007年,那时的腾讯正处在社交和游戏业务的飞速发展期。_随着业务的不断扩张,对数据库系统的要求也日益提高。正是在这样的背景下,腾讯的分布式数据库系统TDSQL开始在内部悄然孵化。这一项目的提出,与当时的腾讯CTO张志东的一个严格要求密不可分:他希望腾讯的所有账户系统能够像银行一样,做到每一笔交易、每一分钱都精确无误。
经过数年的打磨与优化,到了2014年,TDSQL已经能够支持腾讯内部高达90%的计费业务,其稳定性和准确性得到了充分的验证。腾讯数据库的雄心并未止步于此,它开始将触角伸向更广阔的金融领域。首先,腾讯在自己的微众银行上成功应用了TDSQL,而后为了进一步证明其技术的可靠性,腾讯又成功拿下了几家城市商业银行的核心数据库系统。
四十年的风雨历程
四十年的风雨历程,中国数据库技术从无到有、从追赶到超越,展现了时代的巨大变迁。上世纪80年代的摸索起步,到90年代面对国外巨头的夹缝生存,再到21世纪阿里、腾讯等互联网巨头以自研为突破,国产数据库一步步从边缘走向核心。
技术的发展既是时代变迁的缩影,也是中国信息化进程的真实写照。最初我们依赖进口技术,付出高昂的学习和使用成本,而如今,国产数据库已经成为国际舞台上的有力竞争者。背后,是无数技术人的执着创新、敢于挑战的勇气,也是整个国家在信息安全、技术自主上的坚定决心。
当年去IOE的战略决策,彰显了企业和国家在关键技术领域自主可控的决心。如今,云原生、分布式架构和AI等新技术又带来了更多可能性。展望未来,随着数字化转型的深入,国产数据库将继续在这场全球竞争中开辟新天地,书写新的辉煌篇章。
时代在变迁,技术在演进。正是因为一代代技术人的不断努力,今天的我们才有了更多选择与底气,去面对更广阔的世界和更加复杂的挑战。正如这段历史所展现的,从被动跟随到主动创新,中国的技术发展之路将越来越宽广,而这仅仅是一个新的开始。