【大咖说】前1药网技术副总裁黄哲铿-亿级数据SAAS系统架构实践

本文整理自技术专家黄哲铿在《大咖说》的分享,探讨亿级数据实时读写的SAAS系统架构实践。黄哲铿介绍了多租户SAAS系统应用场景,面临的挑战,包括实时读写、复杂查询的需求,并详细讲解了云原生微服务架构、MySQL分表分库策略、数据异构以及TiDB的使用和优化。在面对亿级数据增量时,系统设计需要解决高可用性、实时性和一致性问题,黄哲铿分享了他的解决方案和未来展望。
摘要由CSDN通过智能技术生成

在这里插入图片描述

黄哲铿,前1号店高级技术总监、海尔农业电商 CTO、1药网技术VP,畅销书《技术管理之巅》作者,“技术领导力社区”发起人,擅长大型电商系统研发、供应链系统研发、大型技术团队治理,个人拥有多项技术发明和专利。

本文根据黄哲铿老师在咕泡学院《大咖说》分享内容整理而成,将进行每日亿级增量数据的实时读写、复杂查询场景实践介绍,涉及 MySQL 分表分库策略、数据异构、TiDB 使用和优化、微服务架构等等。

首先做下自我介绍,我叫黄哲铿,之前在互联网的一些企业,像1号店、1药网,担任技术开发以及技术管理等职位。同时,我在2015年的时候出版过一本技术治理方面的书《技术管理之巅》。

本次分享将由以下几个部分组成:

多租户SAAS系统场景简介

系统面临的挑战

亿级数据实时读写的系统架构

不足及展望

一、 多租户SAAS系统场景简介

在这里插入图片描述

首先介绍一下多租户SaaS系统的应用场景,案例中的系统是给快递末端网点做管理系统。结算每天的派费、收入以及其他费用等等。那这个系统的使用量大概是多少?全国范围内有大概几万的网点,同时在线的人数大概有数万人左右,每天的结算数据时单表的行数增量大概会达到亿级别的增量(假设不分表分库)。

同时,应用中会有实时读写,大量的复杂的SQL分页查询。在座很多做金融系统或来自银行的朋友们应该很清楚,结算系统或者说金融系统对数据的实时性、一致性的要求非常高。用户的使用习惯是把明细数据导出来,比如说每天可能有几十万甚至百万的数据要去用Excel导出来,这里面其实会有很多工程方面的优化,以及SQL方面的一些优化。

二、 系统面临的挑战

在这里插入图片描述

接下来是我们面临的一些挑战,大家有做结算系统或财务方面的朋友应该知道,用户对自己账户里的钱是非常敏感的,比如有很多人排队去把OFO账户中的钱兑现,其实没多少钱,但大家觉得这个是我的钱,我要随时、马上看到,拿到。在结算系统中也一样的道理,这个数据我改了马上就能够在系统里面得到反映。一般的小系统很好实现,但是如果每天有上亿增量数据的系统,这其实是个比较大的挑战。

刚才我们提到应用场景所面临的一些挑战和对系统的挑战,包括亿级增量的结算和数据的存储,单表肯定是放不下的,自然而然会想到去分表、分库。那按照什么样的逻辑去分?这又是一个问题,我们接下来会讲。

应用场景刚才也介绍过了&#x

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值