利用MyCat实现单库分表以及单库分表联查报错问题的解决

上一篇文章中介绍了MyCat的原理及功能。本篇文章将根据实际的业务场景介绍MyCat在单库分表中的使用方式。

MyCat1.5以后的版本才开始支持单库分表功能。在官网上下载MyCat解压后，进行配置。需要修改的配置文件有server.xml、rule.xml、schema.xml以及wrapper.conf文件。

提示：1.6.7版本的MyCat在做单库分表的时候，未拆分的表之间的联查是支持的。进行过拆分的表和为进行拆分的表进行联查，只能查询出写在前面的表中的字段信息，与预期的效果不一样，给表起别名，利用表名查询字段的时候，sql报错。最后尝试使用1.6.0版本的MyCat，就没有此问题。

1.server.xml

此文件主要是配置MyCat的一些信息。具体配置参数如下

<!--System标签中所有property的信息都是MyCat服务相关配置-->
    <system>
        <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
        <property name="nonePasswordLogin">0</property>
        <property name="useHandshakeV10">1</property>
        <!-- 是否开启实时统计，1为开启、0为关闭 -->
        <property name="useSqlStat">0</property>
        <!-- 是否开启全局表一致性检测，1为开启、0为关闭 -->
        <property name="useGlobleTableCheck">0</property>
        <!--全局id生成方式-->
        <!--0：表示从本地文件中读取-->
        <!--1：表示从数据库表中读取-->
        <!--2：表示使用时间戳的方式-->
        <!--3：为ZK生成ID-->
        <!--4:为ZK递增ID生成-->
        <property name="sequnceHandlerType">0</property>
        <!--<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>-->
        <!--必须带有MYCATSEQ_或者 mycatseq_进入序列匹配流程 注意MYCATSEQ_有空格的情况-->
        <property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
        <property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false -->
        <!--是否开启mysql压缩协议，1为开启，0为关闭，默认为关闭-->
        <property name="useCompression">1</property>
        <!--MyCat模拟的mysql版本号-->
          <property name="fakeMySQLVersion">5.6.20</property>
        <!-- <property name="processorBufferChunk">40960</property> -->
        <!--处理线程数量，默认是CPU数量-->
        <property name="processors">1</property>
        <!--<property name="processorExecutor">32</property>-->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
        <property name="processorBufferPoolType">0</property>
        <!--默认是65535 64K 用于sql解析时最大文本长度 -->
        <property name="maxStringLiteralLength">65535</property>
        <!--mycat服务的端口号，默认的是8066-->
        <property name="serverPort">8066</property>
        <!--mycat的管理端口，默认是9066-->
        <property name="managerPort">9066</property>
        <!--连接的空闲超时时间-->
        <property name="idleTimeout">1800000</property>
        <!--sql执行的超时时间-->
        <property name="sqlExecuteTimeout">30000</property>
        <!--mycat服务监听的默认地址-->
        <property name="bindIp">0.0.0.0</property>
        <property name="frontWriteQueueSize">4096</property>
        <property name="processors">32</property>
        <!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
        <property name="handleDistributedTransactions">0</property>
        <!--off heap for merge/order/group/limit 是否使用堆外内存 1开启 0关闭，开启堆外内存对大量数据查询聚合的性能有显著的提升，但是要MyCat有足够大的使用内存-->
        <property name="useOffHeapForMerge">0</property>
        <!--单位为m-->
        <property name="memoryPageSize">64k</property>
        <!--是否采用zookeeper协调切换  -->
        <property name="useZKSwitch">false</property>
        <!-- XA Recovery Log日志路径 -->
        <property name="XARecoveryLogBaseDir">./</property>
        <!-- XA Recovery Log日志名称 -->
        <property name="XARecoveryLogBaseName">tmlog</property>
        <!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接-->
        <property name="strictTxIsolation">false</property>
    </system>

    <!-- 全局SQL防火墙设置 -->
    <!--白名单可以使用通配符%或着*-->
    <!--例如<host host="127.0.0.*" user="root"/>-->
    <!--例如<host host="127.0.*" user="root"/>-->
    <!--例如<host host="127.*" user="root"/>-->
    <!--例如<host host="1*7.*" user="root"/>-->
    <!--这些配置情况下对于127.0.0.1都能以root账户登录-->
    <firewall>
       <whitehost>
          <host host="1*7.0.0.*" user="root"/>
       </whitehost>
       <blacklist check="false">
       </blacklist>
    </firewall>
    <!--配置MyCat的登录用户名和密码以及用户权限-->
    <user name="root" defaultAccount="true">
        <!--登录密码-->
        <property name="password">1234</property>
        <!--逻辑库名称-->
        <property name="schemas">TESTDB</property>
		<!-- 密码是否加密 0-不加密，1-加密 -->
		<property name="usingDecrypt">1</property>
        <!-- 此用户是否只读 -->
        <property name="readOnly">false</property>
        <!-- 表级 DML 权限设置 check：是否开启DML权限检查-->
        <privileges check="false">
            <!--dml表示是否开启响应的权限，0表示不开启，insert,update,select,delete-->
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>
    </user>

2.rule.xml

此文件中主要指定分片的规则以及分片规则使用的具体算法。

<!--
    tableRule标签：定义分片规则
            name属性：指定分片规则名称
-->
<tableRule name="user">
    <rule>
        <!--
            columns:指定分片使用的字段
            algorithm：指定分片使用的算法，填写算法定义的名称
        -->
        <columns>user_id</columns>
		<algorithm>mod-long</algorithm>
    </rule>
</tableRule>
<!--
    function标签：定义分片算法
            name属性：指定算法名称
            class属性：指定使用的函数名称，要写全限定路径
-->
<function name="murmur" class="io.mycat.route.function.PartitionByMurmurHash">
    <!-- 默认是0 -->
    <property name="seed">0</property>
    <!-- 要分片的数据库节点数量，必须指定，否则没法分片 -->
    <property name="count">2</property>
    <!-- 一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，
        也就是虚拟节点数是物理节点数的160倍 
    -->
    <property name="virtualBucketTimes">160</property>
    <!--
        节点的权重，没有指定权重的节点默认是1。
        以properties文件的格式填写，以从0开始到count-1的整数值也就是节点索引为key，
        以节点权重值为值。所有权重值必须是正整数，否则以1代替
     -->
    <property name="weightMapFile">weightMapFile</property> 
</function>

rule.xml文件中给了许多的分片算法，常用的有取模、哈希、枚举、crc32等，可以根据具体的业务需要选择相应的算法。

注意：rule.xml文件中，function标签必须配置在所有的tableRule标签之后，否则启动MyCat的时候会失败。

3.schemal.xml文件

此文件中主要是配置逻辑库和物理库的映射、逻辑表和物理表的映射，以及数据主机和读写分离等相关配置。在此次使用的单库分表中没有用到读写分离功能。并且物理库只有一个。具体的配置如下：

<!--
    schema标签：配置逻辑库和物理库的映射信息
        name属性：逻辑库的名称，也就是在server.xml中配置的逻辑库的名称
        sqlMaxLimit:设置后，会默认加上limit数量。费拆分库的将不会生效。
        dataNode：数据节点，分了多了个库就要填多少个，单库分表只有一个数据库所以填一个。
-->
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
        <!--
            name：           填写逻辑表的名称
            primaryKey:      主键字段
            autoIncrement：  主键是否自增
            subTables：      子表，单库分表的时候用到此属性
            dataNode：       数据节点名称，要和配置的数据节点的名称相一致，当此表分到多个库中的
时候，需要将所有的数据节点都写上，用逗号隔开。较多的时候可以用表达式写
            rule：           指定分片的规则，要和rule.xml文件中指定的分片规则名称一致
            charge_$0-15:    分表的表达式，也可以将每个表名称都写上用逗号隔开
        -->
    <table name="charge" primaryKey="id" autoIncrement="true" subTables="user_$0-15"
               dataNode="dn1" rule="charge"/>        
    </schema>
    <!--
        数据节点配置标签
        name:       数据节点的名称
        dataHost：  数据节点的主机名称，要和配置的数据节点主机名称一致
        dataBase:   物理库名称
    -->
    <dataNode name="dn1" dataHost="dev" database="dev"/>
    <!--
        数据主机配置标签
        name：数据主机的名称
        maxCon：每个读写实例连接池中中的最大连接数量
        minCon：每个读写实例连接池中中的最小连接数量，初始化连接池用
        balance：是否开启读写分离，以及开启读写分离的负载均衡策略
            0：不开启读写分离
            1：开启读写分离，并且所有的readHost和stand by writeHost（备用主节点）都参与select
            2：所有的读操作，在writeHost和readHost上随机分配
            3：所有的读操作都在readHost上随机分配，writeHost不执行读操作
        writeType：写操作的负载策略
            0：所有写操作发送到配置的第一个writeHost，第一个挂了切到还生存的第二个writeHost，
            重新启动后已切换后的为准，切换记录在配置文件中:dnindex.properties（data node index）
            1:所有写操作都随机发送到配置的writeHost（不建议使用）
        dbType：连接的数据库的类型
        dbDriver：连接数据库使用的驱动，native和jdbc选项。
        switchType：切换类型
    -->
    <dataHost name="dev" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
        <!-- 心跳检测语句 -->
        <heartbeat>select user()</heartbeat>
        <!-- 配置读写分离，需要用到mysql的准备模式，此处不设置读写分离 -->
        <writeHost host="hostM1" url="127.0.0.1:3306" user="root"
                   password="root" usingDecrypt="1">
            <!-- can have multi read hosts -->
            <!--
            <readHost host="hostS2" url="127.0.0.1:3306" user="root" password="xxx" />
            -->
        </writeHost>
        <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
    </dataHost>

4.wrapper.conf文件

此文件中主要是配置java.exe文件的路径，java.exe文件的主要作用就是启动java虚拟机。因为MyCat是用java语言编写的，所以想要启动MyCat服务必须配置启动虚拟机的java.exe的地址。如果配置的不正确，启动MyCat的时候，会报JVM启动失败异常。

wrapper.java.command=/data/jdk1.8.0_71/bin/java.exe。将等号后面的路径配置为你自己的java.ex路径即可。

所有的配置文件配置完成后，即可启动MyCat服务了。将目录切换到MyCat的bin目录下执行MyCat的启动命令即可。

linux环境启动命令为：./mycat start

windows环境的启动命令为 mycat.bat start.

可以通过 status命令查看MyCat服务的状态。

如果启动失败，去logs文件下面的wrapper.log中查看日志。查看失败原因。

最后只需要将自己程序中的mysql连接信息，修改为mycat的地址就可以了。