使用mycat实现分表分库

强哥的博客

已于 2022-08-04 17:06:01 修改

阅读量4.1k

点赞数 14

分类专栏：数据库分布式文章标签：数据库 java mysql

于 2021-06-16 11:02:04 首次发布

本文链接：https://blog.csdn.net/kaijixin/article/details/117929771

版权

数据库同时被 2 个专栏收录

11 篇文章 0 订阅

订阅专栏

分布式

6 篇文章 0 订阅

订阅专栏

分表分库中间件市面上主要有两种，即当当的sharding-jdbc和阿里的mycat，二者的区别对比如下：
在这里插入图片描述本次要向读者展示的是mycat的安装与使用

1.安装环境
1）操作系统：centos7
2）jdk1.8（mycat是使用java语言开发的）
3）在三台服务上安装了mysql数据库实例，ip地址分别为192.168.0.91、192.168.0.92、192.168.0.93。
4)本次的目的是实现在192.168.0.91、192.168.0.93两台服务器上实现分表分库，并在192.168.0.91、192.168.0.92两台机器上的数据库实现读写分离，其中192.168.0.91（主库），192.168.0.92（从库）已实现同步。主从同步的配置请参考笔者的另一篇文章mysql主从同步简单配置

2.mycat安装
1）获取mycat的安装包。笔者使用的安装包是Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz

2）将上一步的mycat安装包上传到/usr/local/mycat目录下，解压，并改名为mycat，如下图：
在这里插入图片描述
3）启动mycat
进入/usr/local/mycat/mycat/bin目录，启动命令./mycat start，即可启动mycat中间件。

4）验证mycat是否启动成功
输入命令ps -ef|grep mycat，出现如下界面说明已经启动成功
在这里插入图片描述 3 mycat配置
mycat可配置的文件相当多，但是主要修改schema.xml和server.xml两个文件。两个文件均在目录/usr/local/mycat/mycat/conf下。
配置server.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
	- you may not use this file except in compliance with the License. - You 
	may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
	- - Unless required by applicable law or agreed to in writing, software - 
	distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
	WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
	License for the specific language governing permissions and - limitations 
	under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
	<system>
	<property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
	<property name="ignoreUnknownCommand">0</property><!-- 0遇上没有实现的报文(Unknown command:),就会报错、1为忽略该报文，返回ok报文。
	在某些mysql客户端存在客户端已经登录的时候还会继续发送登录报文,mycat会报错,该设置可以绕过这个错误-->
	<property name="useHandshakeV10">1</property>
    <property name="removeGraveAccent">1</property>
	<property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
	<property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->
		<property name="sqlExecuteTimeout">300</property>  <!-- SQL 执行超时 单位:秒-->
		<property name="sequnceHandlerType">1</property>
		<!--<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
		INSERT INTO `travelrecord` (`id`,user_id) VALUES ('next value for MYCATSEQ_GLOBAL',"xxx");
		-->
		<!--必须带有MYCATSEQ_或者 mycatseq_进入序列匹配流程 注意MYCATSEQ_有空格的情况-->
		<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
	<property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false -->
	<property name="sequenceHanlderClass">io.mycat.route.sequence.handler.HttpIncrSequenceHandler</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
	<!-- <property name="processorBufferChunk">40960</property> -->
	<!-- 
	<property name="processors">1</property> 
	<property name="processorExecutor">32</property> 
	 -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
		<property name="processorBufferPoolType">0</property>
		<!--默认是65535 64K 用于sql解析时最大文本长度 -->
		<!--<property name="maxStringLiteralLength">65535</property>-->
		<!--<property name="sequnceHandlerType">0</property>-->
		<!--<property name="backSocketNoDelay">1</property>-->
		<!--<property name="frontSocketNoDelay">1</property>-->
		<!--<property name="processorExecutor">16</property>-->
		<!--
			<property name="serverPort">8066</property> <property name="managerPort">9066</property> 
			<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
			<property name="dataNodeIdleCheckPeriod">300000</property> 5 * 60 * 1000L; //连接空闲检查
			<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
		<!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
		<property name="handleDistributedTransactions">0</property>
		
			<!--
			off heap for merge/order/group/limit      1开启   0关闭
		-->
		<property name="useOffHeapForMerge">0</property>

		<!--
			单位为m
		-->
        <property name="memoryPageSize">64k</property>

		<!--
			单位为k
		-->
		<property name="spillsFileBufferSize">1k</property>

		<property name="useStreamOutput">0</property>

		<!--
			单位为m
		-->
		<property name="systemReserveMemorySize">384m</property>


		<!--是否采用zookeeper协调切换  -->
		<property name="useZKSwitch">false</property>

		<!-- XA Recovery Log日志路径 -->
		<!--<property name="XARecoveryLogBaseDir">./</property>-->

		<!-- XA Recovery Log日志名称 -->
		<!--<property name="XARecoveryLogBaseName">tmlog</property>-->
		<!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接-->
		<property name="strictTxIsolation">false</property>
		
		<property name="useZKSwitch">true</property>
		<!--如果为0的话,涉及多个DataNode的catlet任务不会跨线程执行-->
		<property name="parallExecute">0</property>
	</system>
	
	<!-- 全局SQL防火墙设置 -->
	<!--白名单可以使用通配符%或着*-->
	<!--例如<host host="127.0.0.*" user="root"/>-->
	<!--例如<host host="127.0.*" user="root"/>-->
	<!--例如<host host="127.*" user="root"/>-->
	<!--例如<host host="1*7.*" user="root"/>-->
	<!--这些配置情况下对于127.0.0.1都能以root账户登录-->
	<!--
	<firewall>
	   <whitehost>
	      <host host="1*7.0.0.*" user="root"/>
	   </whitehost>
       <blacklist check="false">
       </blacklist>
	</firewall>
	-->

	<user name="root" defaultAccount="true">
		<property name="password">123456</property>
		<property name="schemas">test</property>
		<property name="defaultSchema">test</property>
		<!--No MyCAT Database selected 错误前会尝试使用该schema作为schema，不设置则为null,报错 -->
		
		<!-- 表级 DML 权限设置 -->
		<!-- 		
		<privileges check="false">
			<schema name="wyzx-east-equ" dml="0110" >
				<table name="tb01" dml="0000"></table>
				<table name="tb02" dml="1111"></table>
			</schema>
		</privileges>		
		 -->
	</user>

	<user name="user">
		<property name="password">user</property>
		<property name="schemas">test</property>
		<property name="readOnly">true</property>
		<property name="defaultSchema">test</property>
	</user>

</mycat:server>

配置schema.xml文件

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

	<schema name="test" checkSQLschema="false" sqlMaxLimit="100">
		<!-- auto sharding by id (long) -->
		<!--splitTableNames 启用<table name 属性使用逗号分割配置多个表,即多个表使用这个配置-->
		<table name="sys_user" dataNode="dn1,dn2" primaryKey="id" rule="auto-sharding-long"/>
		<table name="user_info" dataNode="dn2" />
		<!-- <table name="oc_call" primaryKey="ID" dataNode="dn1$0-743" rule="latest-month-calldate"
			/> -->
	</schema>
	<!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
		/> -->
	<dataNode name="dn1" dataHost="localhost1" database="test" />
	<dataNode name="dn2" dataHost="localhost2" database="test" />
	<!--<dataNode name="dn4" dataHost="sequoiadb1" database="SAMPLE" />
	 <dataNode name="jdbc_dn1" dataHost="jdbchost" database="db1" />
	<dataNode	name="jdbc_dn2" dataHost="jdbchost" database="db2" />
	<dataNode name="jdbc_dn3" 	dataHost="jdbchost" database="db3" /> -->
	<!--name属性
		唯一标识dataHost标签，供上层的标签使用。

		maxCon属性
		指定每个读写实例连接池的最大连接。也就是说，标签内嵌套的writeHost、readHost标签都会使用这个属性的值来实例化出连接池的最大连接数。

		minCon属性
		指定每个读写实例连接池的最小连接，初始化连接池的大小。

		balance属性
		负载均衡类型，目前的取值有3种：
		1. balance=“0”, 所有读操作都发送到当前可用的writeHost上。
		2. balance=“1”，所有读操作都随机的发送到readHost。
		3. balance=“2”，所有读操作都随机的在writeHost、readhost上分发。

		writeType属性
		负载均衡类型，目前的取值有3种：
		1. writeType=“0”, 所有写操作都发送到可用的writeHost上。
		2. writeType=“1”，所有写操作都随机的发送到readHost。
		3. writeType=“2”，所有写操作都随机的在writeHost、readhost分上发。

		dbType属性
		指定后端连接的数据库类型，目前支持二进制的mysql协议，还有其他使用JDBC连接的数据库。例如：mongodb、oracle、spark等。

		dbDriver属性
		指定连接后端数据库使用的Driver，目前可选的值有native和JDBC。使用native的话，因为这个值执行的是二进制的mysql协议，所以可以使用mysql和maridb。其他类型的数据库则需要使用JDBC驱动来支持。如果使用JDBC的话需要将符合JDBC 4标准的驱动JAR包放到MYCAT\lib目录下，并检查驱动JAR包中包括如下目录结构的文件：META-INF\services\java.sql.Driver。在这个文件内写上具体的Driver类名，例如：com.mysql.jdbc.Driver。

		6. heartbeat标签
		这个标签内指明用于和后端数据库进行心跳检查的语句。例如,MYSQL可以使用select user()，Oracle可以使用select 1 from dual等。这个标签还有一个connectionInitSql属性，主要是当使用Oracla数据库时，需要执行的初始化SQL语句就这个放到这里面来。例如：alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss'

		7. writeHost标签、readHost标签
		这两个标签都指定后端数据库的相关配置给mycat，用于实例化后端连接池。唯一不同的是，writeHost指定写实例、readHost指定读实例，组着这些读写实例来满足系统的要求。在一个dataHost内可以定义多个writeHost和readHost。但是，如果writeHost指定的后端数据库宕机，那么这个writeHost绑定的所有readHost都将不可用。另一方面，由于这个writeHost宕机系统会自动的检测到，并切换到备用的writeHost上去。这两个标签的属性相同，这里就一起介绍。

		host属性
		用于标识不同实例，一般writeHost我们使用*M1，readHost我们用*S1。

		url属性
		后端实例连接地址，如果是使用native的dbDriver，则一般为address:port这种形式。用JDBC或其他的dbDriver，则需要特殊指定。当使用JDBC时则可以这么写：jdbc:mysql://localhost:3306/。

		user属性
		后端存储实例需要的用户名字

		password属性
		后端存储实例需要的密码-->
		
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM1" url="192.168.0.93:3306" user="root"
				   password="123456">
		</writeHost>
		<!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
	</dataHost>
	<dataHost name="localhost2" maxCon="1000" minCon="10" balance="3"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- 主库配置，写数据只写入主库-->
		<writeHost host="hostM2" url="192.168.0.91:3306" user="root"
				   password="123456">
	   <!--读库（从库）的配置 -->
		   <readHost host="localhost21" url="192.168.0.92:3306" user="root"
					   password="123456">
		   </readHost>
		</writeHost>
		<!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
	</dataHost>
	<!--
		<dataHost name="sequoiadb1" maxCon="1000" minCon="1" balance="0" dbType="sequoiadb" dbDriver="jdbc">
		<heartbeat> 		</heartbeat>
		 <writeHost host="hostM1" url="sequoiadb://1426587161.dbaas.sequoialab.net:11920/SAMPLE" user="jifeng" 	password="jifeng"></writeHost>
		 </dataHost>

	  <dataHost name="oracle1" maxCon="1000" minCon="1" balance="0" writeType="0" 	dbType="oracle" dbDriver="jdbc"> <heartbeat>select 1 from dual</heartbeat>
		<connectionInitSql>alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss'</connectionInitSql>
		<writeHost host="hostM1" url="jdbc:oracle:thin:@127.0.0.1:1521:nange" user="base" 	password="123456" > </writeHost> </dataHost>

		<dataHost name="jdbchost" maxCon="1000" 	minCon="1" balance="0" writeType="0" dbType="mongodb" dbDriver="jdbc">
		<heartbeat>select 	user()</heartbeat>
		<writeHost host="hostM" url="mongodb://192.168.0.99/test" user="admin" password="123456" ></writeHost> </dataHost>

		<dataHost name="sparksql" maxCon="1000" minCon="1" balance="0" dbType="spark" dbDriver="jdbc">
		<heartbeat> </heartbeat>
		 <writeHost host="hostM1" url="jdbc:hive2://feng01:10000" user="jifeng" 	password="jifeng"></writeHost> </dataHost> -->

	<!-- <dataHost name="jdbchost" maxCon="1000" minCon="10" balance="0" dbType="mysql"
		dbDriver="jdbc"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1"
		url="jdbc:mysql://localhost:3306" user="root" password="123456"> </writeHost>
		</dataHost> -->
</mycat:schema>

至此mycat配置完毕

4.mycat测试
在服务器192.168.0.91、192.168.0.92、192.168.0.93分别创建数据库test，在数据库test下表sys_user，为了简单起见，该表为两个字段，如下图：在这里插入图片描述 id为schema.xml文件中的primaryKey，分片使用。
1）验证192.168.0.91、192.168.0.93之间的数据分片
查看schema.xml的路由规则，如下图：
可见在id<=5000000时路由到第一个数据库192.168.0.93，当id在5000000与10000000时路由到第二个数据192.168.0.91。
以下操作均在navicat上执行
1.在mycat上插入四条数据，如下图
在这里插入图片描述在192.168.0.91的数据如下：
在192.168.0.93的数据如下：
如上说明我们的分片结果是正确的

2）验证192.168.0.91、192.168.0.92之间的读写分离
在192.168.0.91上写数据在上一步已经验证，现在来验证两库之间的读。
在两台服务器上的test数据库下分别创建表user_info,从库192.168.0.92的数据如下在这里插入图片描述主库192.168.0.91的数据如下：
在mycat上执行查询语句如下
由上图可见只查询到了从库的数据，由此可见我们的查询结果是正确的

强哥的博客

关注

14
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
使用mycat实现分表分库

分表分库中间件市面上主要有两种，即当当的sharding-jdbc和阿里的mycat，二者的区别对比如下：本次要向读者展示的是mycat的安装与使用1.安装环境1）操作系统：centos72）jdk1.8（mycat是使用java语言开发的）3）在三台服务上安装了mysql数据库实例，ip地址分别为192.168.0.91、192.168.0.92、192.168.0.93。4)本次的目的是实现在192.168.0.91、192.168.0.93两台服务器上实现分表分库，并在192.168.0.
复制链接

扫一扫

专栏目录