设计原则
透明
- 对开发者透明
在做实现时,不依赖于单元划分和部署 - 对组件透明
在组件运行时,不感知其承载单元 - 对数据透明
数据库并不知道为哪个单元提供服务
业务可分片
- 系统业务复杂度足够高
- 系统可以按照某一维度进行切分
- 系统数据必须可以被区分
业务自包含
- 同一业务功能必须在单元内完成
- 同一业务操作所需数据也在该功能单元内
- 尽量避免跨单元依赖
单元化设计三要素
系统切分
业务切分
- DDD切分领域服务、数据和业务流程
- 切分出的服务和数据属于同一单元
- 出现交集(重叠)时,以单元间访问量做决策指标
- 业务流程所需组件和数据划分在同一单元
- 一个业务流程在同单元执行,保证性能和稳定性
- 尽量避免跨单元的服务访问和数据库读写
- 同单元高内聚,单元间低耦合
- 与组织架构和核心业务流程强相关
- 核心业务保证高可用,高增长必须单元化部署
- 边缘业务跟随核心业务数据分配单元
- 功能粒度要适当
- 粗粒度单元,轻易超过单元资源承载上限,需要二次拆分
- 细粒度单元,单元内资源浪费,性价比低
- 开发团队随单元化架构调整
- 整个过程要持续迭代
按用户属性切分
- 用户属性对系统核心功能有决定性作用
- 外卖、叫车、共享等业务严重依赖于用户的地域属性
- VIP用户、大买家等不同类型的用户
- 新建用户按规则自动分配单元,存量数据按规则做数据迁移
- 相同属性的数据聚集在同一单元
- 一个单元内完成系统所有核心业务,单元内不再按功能拆分
- 数据ID规则
- 不同单元同时生产数据,且数据有同步需求,ID必须保证跨单元不重复
- 由ID可以按规则推算所属单元
- 用户属性划分导致单元规模层次不齐
- 过于庞大的单元,二次拆分
- 合并多个小单元为一个常规单元
- 当用户属性改变时、系统自动同步数据
- 该类属性是低频变化
- 系统同步速度高于属性变化速度
按数据切分
- 按照数据某种属性进行单元划分
- 无业务含义,不可更改,不重复,一般选ID或者时间戳
- 水平扩展上限高
- 账户、订单、流水、商户、商品等比较易于切分
- 通过规则推算所属单元
- 设计规则是数据均分
单元分配的数据比例等于其整体流量比例 - 无业务依赖,跨单元访问不可控
引入中间件实现开发者透明 - 无法切分的数据,高频访问,创建特殊附属单元
- 该单元必须与切分单元在同一数据中心、机房,以降低访问延时
- 任意切分单元对附属单元的写入都会同步到其他附属单元
- 大部分系统都是写少读多,写复制的成本远低于高频读操作
- 数据实时性要求高的系统可能会失败
- 无法切分的数据,低频访问,系统共享同一单元
- 低频读写,时延不影响主业务,代价可接收
- 根据数据中心距离,选择与所有数据中心都相对最近的数据中心作为共享单元的部署地
- 单元内部垂直切分
单元瓶颈优秀考虑内部垂直切分 - 综合库
创建单独的综合库,同步汇总所有单元的数据,供非实时业务使用
单元组成的元素
- 组件
- 服务,业务逻辑
- 不直接被单元外访问
- 独立构建、发布
- 数据
仅限该单元数据 - 中间件
- 内部通信
- 与单元路由有关的中间件
- 反向代理
- 单元内服务的反向代理服务器,供外部访问
- 单元选择功能的路由器
- 安全和控制策略的中心
- 网关
- 单元内访问外部服务的代理服务器
- 单元选择功能的代理服务器
单元路由
外网访问
- 为不同数据中心的不同单元分配不同域名
- 建立全局路由规则服务
- 或客户端登录后本地计算所属单元(或数据中心)
- 客户端直接访问所属单元
- 未改造客户端、匿名用户等
- 利用公有云就近提供服务
- 由业务服务设置Cookie标志指定所属单元
- tag、Cookie或URL参数指定要访问单元
公有云或CDN提供次服务
单元网关
- 单元网关也是该单元的反向代理服务器
- 单元网关根据规则计算请求所属单元
- 属于当前单元,直接路由请求到正确的组件(服务)
- 属于其他单元,转发到对应的正确单元并上报路由错误信息
- 无法判定,根据路由规则发送给组件,由业务逻辑进一步分辨
应用层
- 统一封装的开发框架处理请求,在拦截器或者过滤器层对开发者透明
- 根据请求计算所属单元,属于本单元则继续处理
- 不属于本单元则转发
- 无法判定就交予业务逻辑层或数据库访问层来决定
- 业务层
- 普通对单元无感知的业务,按原有逻辑直接处理
- 依赖于单元信息的业务,可以自行计算或从容器注入单元信息
中间件
- 远程调用框架要透明化支持自动单元路由
- RPC
- HttpClient
- 根据请求计算出正确的目标单元并自动路由
- 数据访问层
- 最后防线
- 通过数据访问的驱动程序或框架改造,使其对开发者透明
- 如果有误,将错误的访问路由到正确的数据库(或表)
数据复制
- 单元化的数据为本单元组件服务
- 依赖决定是否需要复制数据
- 单元间互相复制
- 通过数据中台复制
- 根据业务场景选择
- 强一致、最终一致
- 最大数据延迟
- 读写失败对业务的影响
- 关系型数据库复制
MySQL、Oracle - NoSQL数据库复制
MongoDB、Redis - 消息中间件复制
Kafka,RabbitMQ