使用【MyCat】提升数据库性能

一、海量数据的存储问题

• 如今随着互联网的发展，数据的量级也是指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系型数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，来获取性能上的提升。
• 但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定无法满足，所以还是需要使用关系型数据库。如果使用关系型数据库解决海量存储的问题呢？此时需要做数据库集群，为了提高查询性能将一个数据库的数据分散到不同的数据库中存储。

• 什么是数据库分片：

  • 简单来说，就是通过某种特定的条件，将我们存放在同一个数据库中的数据分散存到多个数据库（主机）上面，以达到分散单台设备的效果。
  • 数据库的切片（Sharding）根据其切片规则的类型，可以分为两种切分模式 
    • 一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切可以称之为数据库的垂直（纵向）切分
    • 
    • 另一种是根据表中数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据库的水平（横向）切分
    • 

• 两种切分的优缺点比较：

  • 垂直切分

    • 优点：

      1. 拆分后业务清晰，拆分规则明确。

      2. 系统之间整合或扩展容易。

      3. 数据维护简单。

    • 缺点：

      1. 部分业务表无法join，只能通过接口方式解决，提高了系统复杂度。

      2. 受每种业务不同的限制存在单库性能瓶颈，不易数据扩展跟性能提高。 

         事务处理复杂。

      3. 由于垂直切分是按照业务的分类将表分散到不同的库，所以有些业务表会过于庞大，存在单库读写与存储瓶颈，所以就需要水平拆分来做解决。

  • 水平切分

    • 优点：

      1. 拆分规则抽象好，join操作基本可以数据库做。

      2. 不存在单库大数据，高并发的性能瓶颈。

      3. 应用端改造较少。

      4. 提高了系统的稳定性跟负载能力。

    • 缺点：

      1. 拆分规则难以抽象。

      2. 分片事务一致性难以解决。

      3. 数据多次扩展难度跟维护量极大。

      4. 跨库join性能较差。

  • 前面讲了垂直切分跟水平切分的不同跟优缺点，会发现每种切分方式都有缺点，但共同的特点缺点有：

    1. 引入分布式事务的问题。

    2. 跨节点Join的问题。跨节点合并排序分页问题。

    3. 多数据源管理问题。​​​​​​​

  • ​​​​​​​切分中的经验：

    • ​​​​​​​​​​​​​​第一原则：能不切分尽量不要切分。

    • 第二原则：如果要切分一定要选择合适的切分规则，提前规划好。

    • 第三原则：数据切分尽量通过数据冗余或表分组（Table Group）来降低跨库Join的可能。

    • 第四原则：由于数据库中间件对数据Join实现的优劣难以把握，而且实现高性能难度极大，业务读取尽量少使用多表Join。

 二、如何实现数据库分片

• 当数据库分片后，数据由一个数据库分散到多个数据库中。此时系统要查询时需要切换不同的数据库进行查询，那么系统如何知道要查询的数据在哪个数据库中？当添加一条记录时要向那个数据库中插入？这些问题解决起来都是非常麻烦的。
• 这种情况下可以使用一个数据库中间件MyCat来解决相关问题，下面我们来了解一下什么是MyCat

• 什么是MyCat

  • Mycat背后是阿里曾经开源的知名产品—— Cobar。Cobar的核心功能和优势是MySQL数据库分片，此产品曾经广为流传，据说最早的发起者对Mysql很精通，后来从阿里 跳槽了，阿里随后开源的Cobar，并维持到2013年年初，然后，就没有然后了。
  • Cobar的思路和实现路径的确不错。基于java开发的，实现了MySQL公开的二进制传输协议，巧妙的将自己伪装成一个MySQL Server，目前市面上绝大多数MySQL客户端工具和应用都能兼容。比自己实现一个新的数据库协议要明智的多，因为生态环境在哪里摆着。
  • MyCart基于Cobar演变而来，对Cobar的代码进行了彻底的重构，使用NIO重构了网络模块，并且优化了Buffer内核，增强了聚合，Join等基本特性，同时兼容绝大多数数据库成为通用的数据库中间件。
  • 简单的说MyCat就是：一个新颖的数据库中间件产品支持MySQL集群，或者mariadb cluster，提供高可用性数据分片集群。你可以像使用MySQL一样使用MyCat。对于开发人员来说根本感觉不到MyCat的存在。
  • 

• MyCat支持的数据库

  • 

• 分片策略

  • ​​​​​​​

  • MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。

  • Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。
  • Table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。
  • DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上，每个表分片所在的数据库就是分片结点（DataNode）
  • DataHost：节点主机，就是一个MySQL服务。数据分片后，每个分片结点（DataNode）不一定都会独用一太机器，同一个机器上面可以有多个分片数据库，这个一个或多个分片节点（DataNode）所在的机器就是节点主机（DataHost），为了规避单节点主机并发数限制，尽量将读写压力高的分片节点（DataNode）均衡的放在不同的主机节点（DataHost）
  • DataSource：定义某个物理库的访问地址，用于捆绑到Datanode上
  • rule：分片规则。一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适分片规则非常重要，将极大的避免后序数据处理的难度。