超详细! Docker安装使用Mycat分库分表

1. 前言

1.1 什么是分库分表?

分库分表是由分库和分表这两个独立概念组成的，只不过通常分库与分表的操作会同时进行，以至于我们习惯性的将它们合在一起叫做分库分表。
通过一定的规则，将原本数据量大的数据库拆分成多个单独的数据库，将原本数据量大的表拆分成若干个数据表，使得单一的库、表性能达到最优的效果（响应速度快），以此提升整体数据库性能。

1.2 分库

随着业务的发展，单库中的数据量不断增加，数据库的 QPS 会越来越高，对数据库的读写耗时也会相应的增长，这时单库的读写性能必然会成为系统的瓶颈点。这时可以通过将单个数据库拆分为多个数据库的方法，来分担数据库的压力，提升性能。同时多个数据库分布在不同的机器上也提高了数据库的可用性.

1.3 分表

随着单表数据量的增加，对于数据的查询和更新，即使在数据库底层有一定的优化，但是随着量变必定会引起质变，导致性能急剧下降。这时可以通过分表的方法，将单表数据按一定规则水平拆分到多个表中，减小单表的数据量，提升系统性能.

2. 安装使用

本文采用Docker安装Mycat

2.1 安装

查询mycat镜像
# docker search mycat

拉取镜像(默认最新版本)
# docker pull longhronshens/mycat-docker
准备挂载文件
# mkdir -p /usr/local/mycat_docker
# cd /usr/local/mycat_docker
# touch rule.xml schema.xml server.xml

rule.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
	<tableRule name="userrule">
		<rule>
			<columns>id</columns>
			<algorithm>func1</algorithm>
		</rule>
	</tableRule>
	<tableRule name="categoryrule">
		<rule>
			<columns>id</columns>
			<algorithm>jump-consistent-hash</algorithm>
		</rule>
	</tableRule>
 
	<function name="murmur" class="io.mycat.route.function.PartitionByMurmurHash">
		<property name="seed">0</property><!-- 默认是0 -->
		<property name="count">2</property><!-- 要分片的数据库节点数量，必须指定，否则没法分片 -->
		<property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，也就是虚拟节点数是物理节点数的160倍 -->
		<!-- <property name="weightMapFile">weightMapFile</property> 节点的权重，没有指定权重的节点默认是1。以properties文件的格式填写，以从0开始到count-1的整数值也就是节点索引为key，以节点权重值为值。所有权重值必须是正整数，否则以1代替 -->
		<!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property> 
		     			用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个属性，会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件，没有默认值，如果不指定，就不会输出任何东西 -->
	</function>
 
	<function name="crc32slot" class="io.mycat.route.function.PartitionByCRC32PreSlot">
		<property name="count">2</property><!-- 要分片的数据库节点数量，必须指定，否则没法分片 -->
	</function>
	<function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
		<property name="mapFile">partition-hash-int.txt</property>
	</function>
	<function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
		<property name="mapFile">autopartition-long.txt</property>
	</function>
	<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
		<!-- how many data nodes -->
		<property name="count">4</property>
	</function>
 
	<function name="func1" class="io.mycat.route.function.PartitionByLong">
		<property name="partitionCount">8</property>
		<property name="partitionLength">128</property>
	</function>
	<function name="latestMonth"
		class="io.mycat.route.function.LatestMonthPartion">
		<property name="splitOneDay">24</property>
	</function>
	<function name="partbymonth" class="io.mycat.route.function.PartitionByMonth">
		<property name="dateFormat">yyyy-MM-dd</property>
		<property name="sBeginDate">2019-01-01</property>
	</function>
	
	<function name="rang-mod" class="io.mycat.route.function.PartitionByRangeMod">
        <property name="mapFile">partition-range-mod.txt</property>
	</function>
	
	<function name="jump-consistent-hash" class="io.mycat.route.function.PartitionByJumpConsistentHash">
		<property name="totalBuckets">4</property>
	</function>
</mycat:rule>

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <!--  name =test_db :表示mycat的逻辑数据库名称,是
          			<user name="mycat" >
				<property name="password">1234qwer!</property>
				<property name="schemas">test_db</property>
			</user>
          当schema节点没有子节点table的时候，一定要有dataNode属性存在（指向mysql真实数据库），
    -->
	<!--逻辑数据库-->
    <schema name="{逻辑数据库名}" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"></schema>
	
    <!--指定master的数据库bmp-->
    <dataNode name="dn1" dataHost="masterhost" database="{真实数据库名}"/>
 
	 <!-- <dataNode name="dn2" dataHost="bmphost" database="myitem1001"/> -->
    <!--指定mastet的ip -->
    <dataHost name="masterhost" maxCon="1000" minCon="10" balance="1"
              writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">
        <!--表示mysql的心跳状态，查询mysql数据库有没有在运行-->
        <heartbeat>select user()</heartbeat>
        <!-- master负责写 -->
        <writeHost host="hostM1" url="127.0.0.1:3306" user="root" password="123456">
            <!--slave负责读-->
            <readHost host="hostS1" url="127.0.0.1:3307" user="root" password="123456"></readHost>
        </writeHost>
    </dataHost>
</mycat:schema>

server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
	<system>
		<property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
		<property name="useHandshakeV10">1</property>
		<property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
		<property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->
 
		<property name="sequnceHandlerType">2</property>
		<property name="subqueryRelationshipCheck">false</property> 
		<property name="handleDistributedTransactions">0</property>
 
		<property name="useOffHeapForMerge">1</property>
 
		<property name="memoryPageSize">64k</property>
 
		<property name="spillsFileBufferSize">1k</property>
 
		<property name="useStreamOutput">0</property>
		<property name="systemReserveMemorySize">384m</property>
 
		<property name="useZKSwitch">false</property>
 
		<property name="strictTxIsolation">false</property>
			
		<property name="useZKSwitch">true</property>
		
	</system>
 
	<user name="{逻辑数据库连接账号}" >
		<property name="password">{逻辑数据库连接密码}</property>
		<!--可以将mycat当成一个整体的数据库，逻辑数据库名-->
		<property name="schemas">{逻辑数据库名}</property>
	</user>
	<!--只读用户-->
	<user name="{逻辑数据库连接只读账号}">
		<property name="password">{逻辑数据库连接只读密码}</property>
		<property name="schemas">{逻辑数据库名}</property>
		<property name="readOnly">true</property>
	</user>
</mycat:server>

注意事项
1. {}中为自定义取值, 相同名称取值一定一致, 否则无法匹配
2. [writeHost]和[readHost]标签一般使用公网地址. 如果想使用内网地址且数据库都是使用docker, 可以参考docker容器通信

启动容器
# docker run -it -d --name mycat 
	-v /usr/local/mycat_docker/schema.xml:/usr/local/mycat/conf/schema.xml 
	-v /usr/local/mycat_docker/rule.xml:/usr/local/mycat/conf/rule.xml 
	-v /usr/local/mycat_docker/server.xml:/usr/local/mycat/conf/server.xml 
	--privileged=true -p 8066:8066 -p 9066:9066 longhronshens/mycat-docker
查看日志
# docker logs -f mycat	

启动成功

2.2 使用

到这里基本就可以愉快的使用啦, 如果有同学安装使用途中遇到问题, 欢迎留言私信