【IT168 技术】最近,易到用车的新闻很多也很劲爆,获得网约车牌照,被消协约谈,创始团队集体辞职,被爆资金匮乏等等,危机不断。但这些都与技术无关,也不能否认易到用车曾经的辉煌,至少在2016年7月,易到用车日订单破百万,仅次于滴滴。业务量的暴增让易到的数据库压力剧增,也经历了成长的烦恼,而这个过程中易到数据库演化/迭代的过程和思路,相信对DBA们还是颇具参考价值。
5月11日,第八届中国数据库技术大会(DTCC 2017)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴,本次大会吸引了近5000名IT人士参会。
在11日下午的分会场,来自易到用车数据库总监徐海鹏分享了主题为《年业务量暴涨50倍之数据库成长烦恼》。
▲易到用车数据库总监徐海鹏
徐海鹏,有着17年数据库部门管理经验,先后任职于美国DoubleClick、加拿大保险局,后因为情怀和机缘, 回到中国并出任易到数据库总监。
早期的易到作为共享出行的先行者,从2015年的日均2万单迅速发展到去年巅峰时期的百万单, 经历了50倍的暴涨。这是一个典型的互联网公司高速成长期系统演化案例。易到用车如何用非常有限的资源, 通过引入各种成熟的方案, 在短期内取得巨大的提升的?
徐海鹏在演讲时说,最初的易到面对业务量暴增,应对方式很简单粗暴,靠不断堆砌服务器来提升数据库的处理能力。而易到初期的系统架构也非常简单,3级系统分别是app层,服务层,数据库层。这种模式下带来的问题是,数据库高度耦合, 成为系统瓶颈。难扩展,垂直扩展的路走到尽头。系统容易产生雪崩效应。主从复制的性能低下, 容易产生高延迟, 影响系统可用性。
因此,最终为了解决这些问题,徐海鹏带领团队痛下决心,拆。其过程主要分为二个阶段。
而第一阶段,首先进行的是解耦、拆分。对业务模块解耦,引入Redis缓存、MariaDB、数据库水平扩展、分库分表。其中数据库水平拆分,最高1024个分库和分表。按用户ID、司机ID和汇总表三个维度分库,新系统提供的接口与老系统完全一致新老系统并存,通过Proxy分流,逐步将流量切到新系统,最终新系统完全取代老系统,实现平滑升级。
经过第一阶段解耦、拆分效果是显著的。
▲第一阶段成果
第二阶段,全面优化主要包含:冷热数据分离、数据抽取优化、精细化数据库管理、高可用实施、NoSQL应用。
冷热数据分离,一级存储使用SSD磁盘的OLTP, 3个月数据。二级存储使用SAS的低成本数据库,保存2年的交易数据和日志。三级存储压缩文件存储系统,保存需要永久保存的交易数据。通过自己开发的数据库脚本,来每天退出线上数据。
高可用实施,经过多个方案的比较, 采取MHA+keepalived 方案,可用性标准从3个9提升至4个9。
▲第二阶段成果
最后,徐海鹏强调,作为DBA不能等到出现数据问题, 才去排查,那个时候往往已经造成了较大后果,需要根据数据间的一致性逻辑, 进行校验及时发现纠正问题。