- 数据库中间件设计要点
- 要能解析SQL
- 能支持读写分离
- 能支持从库读的负载均衡
- 支持分库操作
- 支持分表操作
- 支持跨库关联查询
- 对事务处理的支持
- 主键ID生成
- 数据源管理
- 数据库拆分
- 垂直拆分:比如按照订单表和用户表,将其分别放到不同的数据库中
- 优点:
- 拆分后业务清晰,拆分规则明确;
- 系统之间整合或扩展容易;
- 数据维护简单;
- 缺点
- 部分业务表无法join,只能通过接口方式解决,提高了系统复杂度;
- 受每种业务不同的限制存在单库性能瓶颈,不易数据扩展和性能提高;
- 事务处理复杂;
- 优点:
- 水平拆分:对海量数据的表进行分库拆分,比如将用户数据拆分到不同的库中进行存储
- 优点
- 拆分规则抽象好,join操作基本可以数据库做;
- 不存在单库大数据,高并发的性能瓶颈;
- 应用端改造较少;
- 提高了系统的稳定性和负载能力;
- 缺点
- 拆分规则难以抽象;
- 分片事务一致性难以解决;
- 数据多次扩展难度和维护量极大;
- 跨库join性能较差;
- 分片规则:水平拆分最重要的点
- 范围:时间、数值;
- 列表:按地域、按组织、分类;
- 散列:hash(某个字段)%分片数、一致性hash;
- 复合多种方式;
- 优点
- 垂直拆分:比如按照订单表和用户表,将其分别放到不同的数据库中
- 分库分表的技术难点:无论是垂直拆分还是水平拆分,都会引入以下难点:
- 引入分布式事务的问题;
- 跨节点join的问题;
- 跨节点合并排序分页问题;
- 多数据源管理问题;
- 数据库中间件的实现模式
- 客户端模式:在应用程序中集成数据库中间件模块,通过该模块来配置管理应用需要的一个或多个数据源,以及访问各个数据源,在模块内完成数据的整合,适用于小型系统,典型的是sharding-jdbc;
- 服务端代理模式:通过中间代理层来统一管理所有的数据源,后端数据库集群对前端应用程序透明,同时易于数据库扩展。独立的服务能提供更强的处理能力,适用于大型复杂系统,典型的是Mycat;
转载于:https://my.oschina.net/zhangxufeng/blog/3075133