【直击DTCC】看美丽说数据库架构变迁之路

2016年5月12日-14日，第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴，在为期三天的会议中，大会将围绕MySQL、NoSQL、Oracle、缓存技术、云端数据库、智能数据平台、大数据安全、数据治理、大数据和开源、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术展开深入探讨，并邀请一大批国内顶尖的技术专家来进行分享，以满足广大从业人士和行业用户的迫切需要。

　　

本届是大会创办以来，规模最大，参会人次、参展合作伙伴最多的一次盛会，云集了来自五湖四海的5000余名IT精英，相聚在这里，共话数据库技术发展潮流，共赴大数据浪潮之巅。我们来到了“数据库性能优化”专场，前美丽说数据库及中间件负责人冯超进行了题为《美丽说数据库架构变迁及自主研发中间件应用》主题演讲。

嘉宾介绍

冯超，前美丽说数据库及中间件负责人，现美图数据库技术经理，6年数据库架构经验，1年创业经验，30年瞎掰经验。

演讲摘要

美丽说从导购网站转型电商过程中数据库面临前所未有的挑战，主要有两方面：1、应用场景不同，导购网站的数据库量级轻，无账户，支付等系统等，流量稳定，无大促秒杀等；2、流量增加迅速，交易额million /day增长至接近billion/day 过程中犯下了一些错误，积累了一点经验，开发了一个插件，调整了一点架构。

本次分享主要有两方面：

1、人文，转型之路，思维意识转变，计划的制定及实施；

2、技术

a、架构调整与优化，包括数据库拆分，架构调整；

b、中间件开发与应用，连接池，读写分离，流量控制，功能实现等；

c、电商特殊场景主要是大促等容量评估以及应对方案；

据冯超介绍，导购转型电商途经几个时期，那就是导购、转型、爆发，导购时代，貌似没什么可吹的；转型时代，GMV百万级别，峰值订单10；爆发时代，GMV billion,峰值订单3K。

具体来说，各个不同的阶段都有不同的需求。导购时代需要：一主一从、配置文件，读写分离、用途混合、业务混合；转型时代需要：电商业务：账户系统、促销秒杀。系统要求：一致性、可用性。问题：单点容量。关于促销秒杀：需要扩展性，可用性。问题：读写瓶颈，写瓶颈、短链接、用途耦合。写瓶颈需要：升级硬件、升级pcie ssd、扩大内存、升级CPU、成本换时间。

　　

短链接：主要针对php语言，短链接，MySQL无保护，秒杀时容易击溃数据库。网络timewait,连接超时。长连接提升相应时间，连接复用等，提升有限。解决方案，中间件：增加资源，增加开发成本。

　　

中间件：核心价值：proxy作为程序连接数据库的统一入口，可建立适当规范，源源不断的业务接入过程中，proxy可以保障是符合规范的，那可认为这些业务是可控的，方便未来的扩容和调整优化。和程序端解耦，业务爆发时，要求DBA短时间内进行大量的扩容工作，例如：垂直拆分，水平拆分，机器上下线。

　　

功能实现：

1、连接池。

2、带权重的负载均衡，可根据机器性能设定相应权重。

3、大表透明水平切分，散表规则的统一。

4、透明的负载均衡，及故障切换，从库故障自动剔除。

5、SQL黑名单，线上异常sql,一旦发现可立即禁止。

6、防止数据库密码泄露，程序端仅可获得连接代理的密码。

7、主动断开功能，建立规则规范，对于不符合规范的sql可进行审核，发现后自动断开，如，获取结果集超过5m,在电商大促时，这类sql是致命的。

8、ip黑名单，可禁止某些异常机器连接，保护数据库。

9、连接数限制，连接数暴涨时，代理连接数限制，保护数据库不会被瞬间击垮。

10、支持强制读主库。

　　

不支持夸库查询和分表后的复杂SQL,如limit,count等

　　

爆发时代：单机房限制：容量限制，机架机柜数量有限、机房断电等、各地访问速度。

　　

转型时代

爆发时代

关注大会官方公众号，获取更多详情！

      ↓↓↓