分库分表之MyCat应用

1. 分库分表介绍

---

分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据库拆分成若干数据库组成，将数据大表分成若干数据表组成，使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。随着微服务这种架构的兴起，我们应用从一个完整的大的应用，切分为很多可以独立提供服务的小应用。每个应用都有独立的数据库。

数据的切分分为两种：

l 垂直切分：按照业务模块进行切分，将不同模块的表切分到不同的数据库中。
l 水平切分：将一张大表按照一定的切分规则，按照行切分到不同的表或者不同的库中。

---

1.1 垂直切分

垂直分库：是指按照业务将表进行分类，分布到不同的数据库上面，每个库可以放不同的服务器上，
垂直分表定义 ：将一个表按照字段分成多表，每个表存储其中一部分字段。

它带来的提升是 ：

1. 为了避免IO争抢并减少锁表的几率，查看详情的用户与商品信息浏览互不影响。
2. 充分发挥热门数据的操作效率，商品信息的操作的高效率不会被商品描述的低效率所拖累。
3. 解决业务层面的耦合，业务清晰
4. 能对不同业务的数据进行分级管理、维护、监控、扩展等

1.2 水平切分

水平分表是在同一个数据库内，把同一个表的数据按一定规则拆到多个表中。它带来的提升是 ：

1. 优化单一表数据量过大而产生的性能问题
2. 避免IO争抢并减少锁表的几率
   PS: 库内的水平分表，解决来自单一表数据量过大的问题，分出来的小表中只包含一部分数据，从而
   使得单个表的数据量变小，提高检索性能。

水平分库是把同一个表的数据按一定规则拆分到不同的数据库中，每个库可以放不同的服务器上。

1. 解决来自单库大数据，高并发的性能瓶颈。
2. 提高来系统的稳定性及可用性。
   PS: 稳定性体现在IO冲突减少，锁定减少，可用性指某个库出问题，部分可用。

---

2. MyCAT介绍

---

简单的说，MyCAT就是：
·一个彻底开源的，面向企业应用开发的“大数据库集群” ·支持事务、ACID、可以替代MySQL的加强版数据库
·一个可以视为“MySQL”集群的企业级数据库，用来替代昂贵的Oracle集群
·一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
·结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
·一个新颖的数据库中间件产品
MyCAT的目标是：低成本的将现有的单机数据库和应用平滑迁移到“云”端，解决数据存储和业务规模
迅速增长情况下的数据瓶颈问题。

---

3. MyCAT架构

---

---

4. MyCAT的关键特性

• 支持 SQL 92标准
• 支持MySQL集群，可以作为Proxy使用
• 支持JDBC连接ORACLE、DB2、SQL Server，将其模拟为MySQL Server使用
• 支持galera for mysql集群，percona-cluster或者mariadb cluster，提供高可用性数据分片集群
• 自动故障切换，高可用性
• 支持读写分离，支持MySQL一主多从，以及多主多从的模式
• 支持全局表，数据自动分片到多个节点，用于高效表关联查询
• 支持独有的基于E-R 关系的分片策略，实现了高效的表关联查询
• 多平台支持，部署和实施简单

---

5、MyCAT分片策略

MyCAT支持水平分片与垂直分片：

水平分片：一个表格的数据分割到多个节点上，按照行分隔。

垂直分片：一个数据库中多个表格A，B，C，A存储到节点1上，B存储到节点2上，C存储到节点3上。

MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。

1. Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。
2. Table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。
3. DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上
4. DataSource：定义某个物理库的访问地址，用于捆绑到Datanode上

---

6. 实战演练

6.1 创建数据库：

有两个表单：users和item。三个数据库：db01、db02、db03（三个库中的数据都在同一个实例中）
users表在db01数据库中
item数据分别存放在db02、db03数据库中

6.2 安装MyCAT

github官方地址：https://github.com/MyCATApache
源码下载地址：https://github.com/MyCATApache/Mycat-Server
安装包下载地址：https://github.com/MyCATApache/Mycat-download

#注意注意注意！！！！！！下载安装包（当前官网已经打不开，只能上github下载其他版本，如下：）
 wget https://github.com/MyCATApache/Mycat-download/blob/master/1.6.5-DEV/Mycat- server-1.6.5-DEV-20161231120132-linux.tar.gz 
 ---------------------------------------------------------- 
 #解压
tar -zxvf Mycat-server-1.6.7.5-release-20200422133810-linux.tar.gz  #mycat 放到“/usr/local/mycat/”目录下，你可以根据自己的需要选择合适的目录
cp -r mycat /usr/local/mycat 
#配置环境变量 
vi /etc/profile 
#在文件末尾添加一行： 
export MYCAT_HOME=/usr/local/mycat 
#使修改生效： 
source /etc/profile 
#测试是否生效： 
echo $MYCAT_HOME

6.3 配置文件介绍

conf目录下service.xml，rule.xml，schema.xml三个文件:

• service.xml主要配置MyCat服务的参数，比如端口号，MyCat用户名和密码使用的逻辑数据库等
• rule.xml主要配置路由策略，主要有分片的片键，拆分的策略（取模还是按区间划分等）
• schema.xml文件主要配置数据库的信息，例如逻辑数据库名称，物理上真实的数据源以及表和数据源之间的对应关系和路由策略等。

三个文件配置如下:

service.xml

<?xml version="1.0" encoding="UTF-8"?> 
<!DOCTYPE mycat:server SYSTEM "server.dtd"> 
<mycat:server xmlns:mycat="http://io.mycat/"> 
	<system>
		<property name="defaultSqlParser">druidparser</property>
	    <property name="mutiNodeLimitType">1</property> 
	    <property name="serverPort">8066</property>
	    <property name="managerPort">9066</property> 
	</system>
 <!-- 任意设置登陆 mycat 的用户名,密码,数据库 -->
   <user name="test"> 
   		<property name="password">test</property> 
   		<property name="schemas">TESTDB</property> 
   </user> 
   <user name="user"> 
   		<property name="password">user</property> 
   		<property name="schemas">TESTDB</property> 
   		<property name="readOnly">true</property> 
   	</user> 
</mycat:server>

rule.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); - you may not use this file except in ompliance with the License. - You may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 - - Unless required by applicable law or agreed to in writing, software - distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the License for the specific language governing permissions and - limitations under the License. --> 
 <!DOCTYPE mycat:rule SYSTEM "rule.dtd"> 
 <mycat:rule xmlns:mycat="http://io.mycat/">
 	 <tableRule name="role1"> 
 	 	<rule>
 	 	<!--路由规则》》Id取模后均匀的分布--> 
 	 		<columns>id</columns>
 	 		<algorithm>mod-long</algorithm> 
 	 	</rule> 
 	 </tableRule> 
     <function name="mod-long" class="io.mycat.route.function.PartitionByMod"> 
 	 <!-- 数据源节点个数，使用者切分节点数 --> 
 	 	<property name="count">2</property> 
 	 </function>
 </mycat:rule>

<!--MYCAT常用的分片规则如下，另外还有一些其他分片方式这里不全部列举： 
（1）分片枚举： sharding-by-intfile 
（2）主键范围约定： auto-sharding-long 此分片适用于，提前规划好分片字段某个 范围属于哪个分片
（3）一致性hash： sharding-by-murmur 
（4）字符串hash解析： sharding-by-stringhash 
（5）按日期（天）分片：sharding-by-date 
（6）按小时拆分： sharding-by-hour 
（7）自然月分片： sharding-by-month 
（8）取模： mod-long 此规则为对分片字段求摸运算 
（9）取模范围约束： sharding-by-pattern 此种规则是取模运算与范围约束的结合，主 要为了后续数据迁移做准备，即可以自主决定取模后数据的节点分布 -->

schema.xml

<?xml version="1.0"?> 
<!DOCTYPE mycat:schema SYSTEM "schema.dtd"> 
<mycat:schema xmlns:mycat="http://io.mycat/"> 
	<!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致 --> 
	<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"> 
		<table name="users" primaryKey="id" dataNode="node_db01" /> 
		<table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="role1" /> 
	</schema> 
	<!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost --> 
	<dataNode name="node_db01" dataHost="dataHost01" database="db01" />
	<dataNode name="node_db02" dataHost="dataHost01" database="db02" /> 
	<dataNode name="node_db03" dataHost="dataHost01" database="db03" /> 
	<!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息
	 balance属性
	     balance=”0”, 不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上
	     balance=”1”，全部的 readHost 与 stand by writeHost 参与 select 语句的负 载均衡
	     balance=”2”，所有读操作都随机的在 writeHost、 readhost 上分发。 
	     balance=”3”， 所有读请求随机的分发到 wiriterHost 对应的 readhost 执 行,writerHost 不负担读压力 --> 
  <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> 
  		  <heartbeat>select user()</heartbeat> 
  		  <writeHost host="server1" url="127.0.0.1:3306" user="root" password="123456">
  		  </writeHost> 
  </dataHost> 
</mycat:schema>

---

6.3 启动MyCAT测试

cd /usr/local/mycat/bin 
./startup_nowrap.sh