数据库中间件

• 数据库中间件设计要点
  • 要能解析SQL
  • 能支持读写分离
  • 能支持从库读的负载均衡
  • 支持分库操作
  • 支持分表操作
  • 支持跨库关联查询
  • 对事务处理的支持
  • 主键ID生成
  • 数据源管理
• 数据库拆分
  • 垂直拆分：比如按照订单表和用户表，将其分别放到不同的数据库中
    • 优点：
      • 拆分后业务清晰，拆分规则明确；
      • 系统之间整合或扩展容易；
      • 数据维护简单；
    • 缺点
      • 部分业务表无法join，只能通过接口方式解决，提高了系统复杂度；
      • 受每种业务不同的限制存在单库性能瓶颈，不易数据扩展和性能提高；
      • 事务处理复杂；
  • 水平拆分：对海量数据的表进行分库拆分，比如将用户数据拆分到不同的库中进行存储
    • 优点
      • 拆分规则抽象好，join操作基本可以数据库做；
      • 不存在单库大数据，高并发的性能瓶颈；
      • 应用端改造较少；
      • 提高了系统的稳定性和负载能力；
    • 缺点
      • 拆分规则难以抽象；
      • 分片事务一致性难以解决；
      • 数据多次扩展难度和维护量极大；
      • 跨库join性能较差；
    • 分片规则：水平拆分最重要的点
      • 范围：时间、数值；
      • 列表：按地域、按组织、分类；
      • 散列：hash(某个字段)%分片数、一致性hash；
      • 复合多种方式；
• 分库分表的技术难点：无论是垂直拆分还是水平拆分，都会引入以下难点：
  • 引入分布式事务的问题；
  • 跨节点join的问题；
  • 跨节点合并排序分页问题；
  • 多数据源管理问题；
• 数据库中间件的实现模式
  • 客户端模式：在应用程序中集成数据库中间件模块，通过该模块来配置管理应用需要的一个或多个数据源，以及访问各个数据源，在模块内完成数据的整合，适用于小型系统，典型的是sharding-jdbc；
  • 服务端代理模式：通过中间代理层来统一管理所有的数据源，后端数据库集群对前端应用程序透明，同时易于数据库扩展。独立的服务能提供更强的处理能力，适用于大型复杂系统，典型的是Mycat；

转载于:https://my.oschina.net/zhangxufeng/blog/3075133