1. 前言
1.1 什么是分库分表?
分库分表是由分库和分表这两个独立概念组成的,只不过通常分库与分表的操作会同时进行,以至于我们习惯性的将它们合在一起叫做分库分表。
通过一定的规则,将原本数据量大的数据库拆分成多个单独的数据库,将原本数据量大的表拆分成若干个数据表,使得单一的库、表性能达到最优的效果(响应速度快),以此提升整体数据库性能。
1.2 分库
随着业务的发展,单库中的数据量不断增加,数据库的 QPS 会越来越高,对数据库的读写耗时也会相应的增长,这时单库的读写性能必然会成为系统的瓶颈点。这时可以通过将单个数据库拆分为多个数据库的方法,来分担数据库的压力,提升性能。同时多个数据库分布在不同的机器上也提高了数据库的可用性.
1.3 分表
随着单表数据量的增加,对于数据的查询和更新,即使在数据库底层有一定的优化,但是随着量变必定会引起质变,导致性能急剧下降。这时可以通过分表的方法,将单表数据按一定规则水平拆分到多个表中,减小单表的数据量,提升系统性能.
2. 安装使用
本文采用Docker安装Mycat
2.1 安装
查询mycat镜像
# docker search mycat
拉取镜像(默认最新版本)
# docker pull longhronshens/mycat-docker
准备挂载文件
# mkdir -p /usr/local/mycat_docker
# cd /usr/local/mycat_docker
# touch rule.xml schema.xml server.xml
rule.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
<tableRule name="userrule">
<rule>
<columns>id</columns>
<algorithm>func1</algorithm>
</rule>
</tableRule>
<tableRule name="categoryrule">
<rule>
<columns>id</columns>
<algorithm>jump-consistent-hash</algorithm>
</rule>
</tableRule>
<function name="murmur" class="io.mycat.route.function.PartitionByMurmurHash">
<property name="seed">0</property><!-- 默认是0 -->
<property name="count">2</property><!-- 要分片的数据库节点数量,必须指定,否则没法分片 -->
<property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点,默认是160倍,也就是虚拟节点数是物理节点数的160倍 -->
<!-- <property name="weightMapFile">weightMapFile</property> 节点的权重,没有指定权重的节点默认是1。以properties文件的格式填写,以从0开始到count-1的整数值也就是节点索引为key,以节点权重值为值。所有权重值必须是正整数,否则以1代替 -->
<!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property>
用于测试时观察各物理节点与虚拟节点的分布情况,如果指定了这个属性,会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件,没有默认值,如果不指定,就不会输出任何东西 -->
</function>
<function name="crc32slot" class="io.mycat.route.function.PartitionByCRC32PreSlot">
<property name="count">2</property><!-- 要分片的数据库节点数量,必须指定,否则没法分片 -->
</function>
<function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
<property name="mapFile">partition-hash-int.txt</property>
</function>
<function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
<property name="mapFile">autopartition-long.txt</property>
</function>
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
<!-- how many data nodes -->
<property name="count">4</property>
</function>
<function name="func1" class="io.mycat.route.function.PartitionByLong">
<property name="partitionCount">8</property>
<property name="partitionLength">128</property>
</function>
<function name="latestMonth"
class="io.mycat.route.function.LatestMonthPartion">
<property name="splitOneDay">24</property>
</function>
<function name="partbymonth" class="io.mycat.route.function.PartitionByMonth">
<property name="dateFormat">yyyy-MM-dd</property>
<property name="sBeginDate">2019-01-01</property>
</function>
<function name="rang-mod" class="io.mycat.route.function.PartitionByRangeMod">
<property name="mapFile">partition-range-mod.txt</property>
</function>
<function name="jump-consistent-hash" class="io.mycat.route.function.PartitionByJumpConsistentHash">
<property name="totalBuckets">4</property>
</function>
</mycat:rule>
schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- name =test_db :表示mycat的逻辑数据库名称,是
<user name="mycat" >
<property name="password">1234qwer!</property>
<property name="schemas">test_db</property>
</user>
当schema节点没有子节点table的时候,一定要有dataNode属性存在(指向mysql真实数据库),
-->
<!--逻辑数据库-->
<schema name="{逻辑数据库名}" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"></schema>
<!--指定master的数据库bmp-->
<dataNode name="dn1" dataHost="masterhost" database="{真实数据库名}"/>
<!-- <dataNode name="dn2" dataHost="bmphost" database="myitem1001"/> -->
<!--指定mastet的ip -->
<dataHost name="masterhost" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">
<!--表示mysql的心跳状态,查询mysql数据库有没有在运行-->
<heartbeat>select user()</heartbeat>
<!-- master负责写 -->
<writeHost host="hostM1" url="127.0.0.1:3306" user="root" password="123456">
<!--slave负责读-->
<readHost host="hostS1" url="127.0.0.1:3307" user="root" password="123456"></readHost>
</writeHost>
</dataHost>
</mycat:schema>
server.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
<system>
<property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0,设置为1则需要指定默认账户-->
<property name="useHandshakeV10">1</property>
<property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 -->
<property name="useGlobleTableCheck">0</property> <!-- 1为开启全加班一致性检测、0为关闭 -->
<property name="sequnceHandlerType">2</property>
<property name="subqueryRelationshipCheck">false</property>
<property name="handleDistributedTransactions">0</property>
<property name="useOffHeapForMerge">1</property>
<property name="memoryPageSize">64k</property>
<property name="spillsFileBufferSize">1k</property>
<property name="useStreamOutput">0</property>
<property name="systemReserveMemorySize">384m</property>
<property name="useZKSwitch">false</property>
<property name="strictTxIsolation">false</property>
<property name="useZKSwitch">true</property>
</system>
<user name="{逻辑数据库连接账号}" >
<property name="password">{逻辑数据库连接密码}</property>
<!--可以将mycat当成一个整体的数据库,逻辑数据库名-->
<property name="schemas">{逻辑数据库名}</property>
</user>
<!--只读用户-->
<user name="{逻辑数据库连接只读账号}">
<property name="password">{逻辑数据库连接只读密码}</property>
<property name="schemas">{逻辑数据库名}</property>
<property name="readOnly">true</property>
</user>
</mycat:server>
注意事项
1. {}中为自定义取值, 相同名称取值一定一致, 否则无法匹配
2. [writeHost]和[readHost]标签一般使用公网地址. 如果想使用内网地址且数据库都是使用docker, 可以参考docker容器通信
启动容器
# docker run -it -d --name mycat
-v /usr/local/mycat_docker/schema.xml:/usr/local/mycat/conf/schema.xml
-v /usr/local/mycat_docker/rule.xml:/usr/local/mycat/conf/rule.xml
-v /usr/local/mycat_docker/server.xml:/usr/local/mycat/conf/server.xml
--privileged=true -p 8066:8066 -p 9066:9066 longhronshens/mycat-docker
查看日志
# docker logs -f mycat
启动成功
2.2 使用
到这里基本就可以愉快的使用啦, 如果有同学安装使用途中遇到问题, 欢迎留言私信