【直击DTCC】业务量暴增50倍之易到数据库成长烦恼

【IT168 技术】最近，易到用车的新闻很多也很劲爆，获得网约车牌照，被消协约谈，创始团队集体辞职，被爆资金匮乏等等，危机不断。但这些都与技术无关，也不能否认易到用车曾经的辉煌，至少在2016年7月，易到用车日订单破百万，仅次于滴滴。业务量的暴增让易到的数据库压力剧增，也经历了成长的烦恼，而这个过程中易到数据库演化/迭代的过程和思路，相信对DBA们还是颇具参考价值。

　　

5月11日，第八届中国数据库技术大会(DTCC 2017)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴，本次大会吸引了近5000名IT人士参会。

　　

在11日下午的分会场，来自易到用车数据库总监徐海鹏分享了主题为《年业务量暴涨50倍之数据库成长烦恼》。

▲易到用车数据库总监徐海鹏

　　

徐海鹏，有着17年数据库部门管理经验，先后任职于美国DoubleClick、加拿大保险局，后因为情怀和机缘, 回到中国并出任易到数据库总监。

　　

早期的易到作为共享出行的先行者，从2015年的日均2万单迅速发展到去年巅峰时期的百万单， 经历了50倍的暴涨。这是一个典型的互联网公司高速成长期系统演化案例。易到用车如何用非常有限的资源, 通过引入各种成熟的方案, 在短期内取得巨大的提升的?

　　

徐海鹏在演讲时说，最初的易到面对业务量暴增，应对方式很简单粗暴，靠不断堆砌服务器来提升数据库的处理能力。而易到初期的系统架构也非常简单，3级系统分别是app层，服务层，数据库层。这种模式下带来的问题是，数据库高度耦合, 成为系统瓶颈。难扩展，垂直扩展的路走到尽头。系统容易产生雪崩效应。主从复制的性能低下, 容易产生高延迟, 影响系统可用性。

　　

因此，最终为了解决这些问题，徐海鹏带领团队痛下决心，拆。其过程主要分为二个阶段。

　　

而第一阶段，首先进行的是解耦、拆分。对业务模块解耦，引入Redis缓存、MariaDB、数据库水平扩展、分库分表。其中数据库水平拆分，最高1024个分库和分表。按用户ID、司机ID和汇总表三个维度分库，新系统提供的接口与老系统完全一致新老系统并存，通过Proxy分流，逐步将流量切到新系统，最终新系统完全取代老系统，实现平滑升级。

　　

经过第一阶段解耦、拆分效果是显著的。

▲第一阶段成果

　　

第二阶段，全面优化主要包含：冷热数据分离、数据抽取优化、精细化数据库管理、高可用实施、NoSQL应用。

　　

冷热数据分离，一级存储使用SSD磁盘的OLTP, 3个月数据。二级存储使用SAS的低成本数据库，保存2年的交易数据和日志。三级存储压缩文件存储系统,保存需要永久保存的交易数据。通过自己开发的数据库脚本，来每天退出线上数据。

　　

高可用实施，经过多个方案的比较, 采取MHA+keepalived 方案，可用性标准从3个9提升至4个9。

▲第二阶段成果

　　

最后，徐海鹏强调，作为DBA不能等到出现数据问题, 才去排查，那个时候往往已经造成了较大后果，需要根据数据间的一致性逻辑, 进行校验及时发现纠正问题。