mysql集群，主从同步，读写分离，水平拆分，垂直拆分，双主双从+mycat

已于 2022-05-10 10:25:54 修改
阅读量2.5k 收藏 7
点赞数
文章标签： mycat
于 2022-04-25 13:15:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41720396/article/details/124386337
版权

主从复制

MySQL主从复制的核心就是 二进制日志，具体的过程如下：
在这里插入图片描述
从上图来看，复制分成三步：

  1. Master 主库在事务提交时，会把数据变更记录在二进制日志文件 Binlog 中。
  2. 从库读取主库的二进制日志文件 Binlog ，写入到从库的中继日志 Relay Log 。
  3. slave重做中继日志中的事件，将改变反映它自己的数据。

搭建

准备

在这里插入图片描述
准备好两台服务器之后，在上述的两台服务器中分别安装好MySQL，并完成基础的初始化准备(安装、
密码配置等操作)工作。 其中：
192.168.200.200 作为主服务器master
192.168.200.201 作为从服务器slave

主库配置

修改配置文件 /etc/my.cnf

#mysql 服务ID，保证整个集群环境中唯一，取值范围：1 – 232-1，默认为1
server-id=1
#是否只读,1 代表只读, 0 代表读写
read-only=0
#忽略的数据, 指不需要同步的数据库
#binlog-ignore-db=mysql
#指定同步的数据库
#binlog-do-db=db01

重启MySQL服务器
登录mysql，创建远程连接的账号，并授予主从复制权限

#创建itcast用户，并设置密码，该用户可在任意主机连接该MySQL服务
# 解释：创建名为itcast的用户，@'%'可以在任意主机上访问，密码'Root@123456'
CREATE USER 'itcast'@'%' IDENTIFIED WITH mysql_native_password BY 'Root@123456';
#为 'itcast'@'%' 用户分配主从复制权限
GRANT REPLICATION SLAVE ON *.* TO 'itcast'@'%';

通过指令，查看二进制日志坐标

show master status ;

在这里插入图片描述
字段含义说明：
file : 从哪个日志文件开始推送日志文件
position ： 从哪个位置开始推送日志
binlog_ignore_db : 指定不需要同步的数据库

从库配置

修改配置文件 /etc/my.cnf

#mysql 服务ID，保证整个集群环境中唯一，取值范围：1 – 2^32-1，和主库不一样即可
server-id=2
#是否只读,1 代表只读, 0 代表读写，只针对普通用户，超级管理员不影响，
# 如果要root也只读，加一行super-read-only=1（中划线下划线都可）
read-only=1

重新启动MySQL服务
登录mysql，设置主库配置

CHANGE REPLICATION SOURCE TO SOURCE_HOST='192.168.200.200', master_port=3306,SOURCE_USER='itcast',SOURCE_PASSWORD='Root@123456', SOURCE_LOG_FILE='binlog.000004',SOURCE_LOG_POS=663;

上述是8.0.23中的语法。如果mysql是 8.0.23 之前的版本，执行如下SQL：

CHANGE MASTER TO MASTER_HOST='192.168.200.200', master_port=3306,MASTER_USER='itcast',MASTER_PASSWORD='Root@123456', MASTER_LOG_FILE='binlog.000004',MASTER_LOG_POS=663;
参数名含义8.0.23之前
SOURCE_HOST主库IP地址MASTER_HOST
SOURCE_USER连接主库的用户名MASTER_USER
SOURCE_PASSWORD连接主库的密码MASTER_PASSWORD
SOURCE_LOG_FILEbinlog日志文件名MASTER_LOG_FILE
SOURCE_LOG_POSbinlog日志文件位置MASTER_LOG_POS

开启同步操作

start replica ; #8.0.22之后
start slave ; #8.0.22之前

查看主从同步状态

show replica status ; #8.0.22之后
show slave status ; #8.0.22之前

在这里插入图片描述

假如是虚拟机复制的，会出现一些问题：

  1. mysql的uuid是同一个，uuid是启动时自动生成的auto.cnf
    错误：Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs；
[root@localhost ~]# systemctl stop mysqld         #关闭mysql
[root@localhost mysql]# rm -rf /var/lib/mysql/auto.cnf        #删除从库auto.cnf文件
[root@localhost ~]# systemctl start mysqld                 #启动从库mysqld服务
  1. 已经绑定过
    错误：ERROR 3021 (HY000): This operation cannot be performed with a running slave io thread； run STOP SLAV
    错误原因：
    mysql从机上已经进行过绑定了，如果继续绑定需要先进行重置。
    解决办法
    1. 停止已经启动的绑定
    stop slave;
    1. 重置绑定
    reset master;
    1. 执行复制主机命令
    CHANGE REPLICATION SOURCE TO SOURCE_HOST='192.168.25.110', SOURCE_USER='itcast',SOURCE_PASSWORD='Root@123456', SOURCE_LOG_FILE='binlog.000009',SOURCE_LOG_POS=1595;
    1. 发现此时已经不报错
    2. 启动复制
    start replica ;
    1. 查看状态
    show replica status;

测试

在主库插入数据：

create database db01;
use db01;
create table tb_user(
id int(11) primary key not null auto_increment,
name varchar(50) not null,
sex varchar(1)
)engine=innodb default charset=utf8mb4;
insert into tb_user(id,name,sex) values(null,'Tom', '1'),(null,'Trigger','0'),
(null,'Dawn','1');

验证从库是否同步。

此时一个最小配置的mysql主从同步已搭建完成，增加从库重复从库操作即可。增加主从集群，从头到尾重复即可。注意server-id做区分。

安装mycat

安装mycat

目录介绍
在这里插入图片描述
bin : 存放可执行文件，用于启动停止mycat
conf：存放mycat的配置文件
lib：存放mycat的项目依赖包（jar）
logs：存放mycat的日志文件

MyCat配置

schema.xml

schema.xml 作为MyCat中最重要的配置文件之一 , 涵盖了MyCat的逻辑库 、 逻辑表 、 分片规则、分片节点及数据源的配置。

img
主要包含以下三组标签：

  • schema标签
  • datanode标签
  • datahost标签
schema标签
schema 定义逻辑库

img
schema 标签用于定义 MyCat实例中的逻辑库 , 一个MyCat实例中, 可以有多个逻辑库 , 可以通过 schema 标签来划分不同的逻辑库。MyCat中的逻辑库的概念，等同于MySQL中的database概念
, 需要操作某个逻辑库下的表时, 也需要切换逻辑库(use xxx)。

核心属性：

  • name：指定自定义的逻辑库库名

  • checkSQLschema：在SQL语句操作时指定了数据库名称，执行时是否自动去除；true：自动去 除，false：不自动去除

  • sqlMaxLimit：如果未指定limit进行查询，列表查询模式查询多少条记录

schema 中的table定义逻辑表

img
table 标签定义了MyCat中逻辑库schema下的逻辑表 , 所有需要拆分的表都需要在table标签中定义 。

核心属性：

  • name：定义逻辑表表名，在该逻辑库下唯一

  • dataNode：定义逻辑表所属的dataNode，该属性需要与dataNode标签中name对应；多个dataNode逗号分隔

  • rule： 分 片 规 则 的 名 字 ， 分 片 规 则 名 字 是 在 rule.xml 中 定 义 的

  • primaryKey：逻辑表对应真实表的主键

  • type：逻辑表的类型，目前逻辑表只有全局表和普通表，如果未配置，就是普通表；全局表，配 置 为 global

datanode标签

img

核心属性：

  • name：定义数据节点名称

  • dataHost：数据库实例主机名称，引用自 dataHost 标签中name属性

  • database：定义分片所属数据库

datahost标签

img

该标签在MyCat逻辑库中作为底层标签存在, 直接定义了具体的数据库实例、读写分离、心跳语句。
核心属性：

  • name：唯一标识，供上层标签使用

  • maxCon/minCon：最大连接数/最小连接数

  • balance：负载均衡策略，取值 0,1,2,3

  • writeType：写操作分发方式（0：写操作转发到第一个writeHost，第一个挂了，切换到第二 个；1：写操作随机分发到配置的writeHost）

  • dbDriver：数据库驱动，支持 native、jdbc

rule.xml

rule.xml中定义所有拆分表的规则, 在使用过程中可以灵活的使用分片算法, 或者对同一个分片算法使用不同的参数, 它让分片过程可配置化。主要包含两类标签：tableRule、Function。

img

server.xml

server.xml配置文件包含了MyCat的系统配置信息，主要有两个重要的标签：system、user。
1). system标签
img

主要配置MyCat中的系统配置信息，对应的系统配置项及其含义，如下：

属性取值含义
charsetutf8设置Mycat的字符集, 字符集需要与MySQL的字符集保持一致
nonePasswordLogin0,10为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户
useHandshakeV100,1使用该选项主要的目的是为了能够兼容高版本的jdbc驱动, 是否采用HandshakeV10Packet来与client进行通信, 1:是, 0:否
useSqlStat0,1开启SQL实时统计, 1 为开启 , 0 为关闭 ; 开启之后, MyCat会自动统计SQL语句的执行情况 ; mysql -h 127.0.0.1 -P 9066 -u root -p 查看MyCat执行的SQL, 执行效率比较低的SQL , SQL的整体执行情况、读写比例等 ; show @@sql ; show @@sql.slow ; show @@sql.sum ;
useGlobleTableCheck0,1是否开启全局表的一致性检测。1为开启 ，0为关闭 。
sqlExecuteTimeout1000SQL语句执行的超时时间 , 单位为 s ;
sequnceHandlerType0,1,2用来指定Mycat全局序列类型，0 为本地文件，1 为数据库方式，2 为时间戳列方式，默认使用本地文件方式，文件方式主要用于测试
sequnceHandlerPattern正则表达式必须带有MYCATSEQ或者 mycatseq进入序列匹配流程 注意MYCATSEQ_有空格的情况
subqueryRelationshipChecktrue,false子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false
useCompression0,1开启mysql压缩协议 , 0 : 关闭, 1 : 开启
fakeMySQLVersion5.5,5.6设置模拟的MySQL版本号
defaultSqlParser由于MyCat的最初版本使用了FoundationDB的SQL解析器, 在MyCat1.3后增加了Druid解析器, 所以要设置defaultSqlParser属性来指定默认的解析器; 解析器有两个 : druidparser 和 fdbparser, 在MyCat1.4之后,默认是druidparser, fdbparser已经废除了
processors1,2…指定系统可用的线程数量, 默认值为CPU核心 x 每个核心运行线程数量; processors 会影响processorBufferPool, processorBufferLocalPercent, processorExecutor属性, 所有, 在性能调优时, 可以适当地修改processors值
processorBufferChunk指定每次分配Socket Direct Buffer默认值为4096字节, 也会影响BufferPool长度, 如果一次性获取字节过多而导致buffer不够用, 则会出现警告, 可以调大该值
processorExecutor指定NIOProcessor上共享 businessExecutor固定线程池的大小; MyCat把异步任务交给 businessExecutor线程池中, 在新版本的MyCat中这个连接池使用频次不高, 可以适当地把该值调小
packetHeaderSize指定MySQL协议中的报文头长度, 默认4个字节
maxPacketSize指定MySQL协议可以携带的数据最大大小, 默认值为16M
idleTimeout30指定连接的空闲时间的超时长度;如果超时,将关闭资源并回收, 默认30分钟
txIsolation1,2,3,4初始化前端连接的事务隔离级别,默认为 REPEATED_READ , 对应数字为3 READ_UNCOMMITED=1; READ_COMMITTED=2; REPEATED_READ=3; SERIALIZABLE=4;
sqlExecuteTimeout300执行SQL的超时时间, 如果SQL语句执行超时,将关闭连接; 默认300秒;
serverPort8066定义MyCat的使用端口, 默认8066
managerPort9066定义MyCat的管理端口, 默认9066

2). user标签

配置MyCat中的用户、访问密码，以及用户针对于逻辑库、逻辑表的权限信息，具体的权限描述方式及 配置说明如下：

img

在测试权限操作时，我们只需要将 privileges 标签的注释放开。 在 privileges 下的schema 标签中配置的dml属性配置的是逻辑库的权限。 在privileges的schema下的table标签的dml属性中配置逻辑表的权限。

启动

#启动

bin/mycat start

#停止

bin/mycat stop

Mycat启动之后，占用端口号 8066。
启动完毕之后，可以查看logs目录下的启动日志，查看Mycat是否启动完成。

tail -f logs/wrapper.log

在这里插入图片描述

连接MyCat

通过如下指令，就可以连接并登陆MyCat。

mysql -h 192.168.200.210 -P 8066 -uroot -p123456

在mycat中创建表，真实库也会同步创建

mycat配置文件示例：

普通配置

schema.xml普通配置：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<!-- 逻辑库，里面包含逻辑表 -->
	<!-- 逻辑库名 -->
	<schema name="DB01" checkSQLschema="true" sqlMaxLimit="100">
		<!-- name逻辑表名，dataNode数据节点，rule分片规则 -->
		<table name="TB_ORDER" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
	</schema>
	<!-- name数据节点名称，dataHost关联下面哪个，database数据库中的实际库名 -->
	<dataNode name="dn1" dataHost="dhost1" database="db01" />
	<dataNode name="dn2" dataHost="dhost2" database="db01" />
	<dataNode name="dn3" dataHost="dhost3" database="db01" />
	
	<!-- dbDriver="jdbc"用这个，mycat当前版本对mysql8的native支持还不是很好 -->
	<dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- 改数据库地址和账号密码 -->
		<writeHost host="master" url="jdbc:mysql://192.168.200.210:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234" />
	</dataHost>
	
	<dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		
		<writeHost host="master" url="jdbc:mysql://192.168.200.213:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234" />
	</dataHost>
	
	<dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		
		<writeHost host="master" url="jdbc:mysql://192.168.200.214:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234" />
	</dataHost>
</mycat:schema>

server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
	- you may not use this file except in compliance with the License. - You 
	may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
	- - Unless required by applicable law or agreed to in writing, software - 
	distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
	WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
	License for the specific language governing permissions and - limitations 
	under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
	<system>
	<property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
	<property name="useHandshakeV10">1</property>
	<property name="useSqlStat">1</property>  <!-- 1为开启实时统计、0为关闭 -->
	<property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->
		<property name="sqlExecuteTimeout">300</property>  <!-- SQL 执行超时 单位:秒-->
		<property name="sequnceHandlerType">2</property>
		<!--<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>-->
		<!--必须带有MYCATSEQ_或者 mycatseq_进入序列匹配流程 注意MYCATSEQ_有空格的情况-->
		<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
	<property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false -->
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
	<!-- <property name="processorBufferChunk">40960</property> -->
	<!-- 
	<property name="processors">1</property> 
	<property name="processorExecutor">32</property> 
	 -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
		<property name="processorBufferPoolType">0</property>
		<!--默认是65535 64K 用于sql解析时最大文本长度 -->
		<!--<property name="maxStringLiteralLength">65535</property>-->
		<!--<property name="sequnceHandlerType">0</property>-->
		<!--<property name="backSocketNoDelay">1</property>-->
		<!--<property name="frontSocketNoDelay">1</property>-->
		<!--<property name="processorExecutor">16</property>-->
		<!--
			<property name="serverPort">8066</property> 
			<property name="managerPort">9066</property> 
			<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
			<property name="dataNodeIdleCheckPeriod">300000</property> 5 * 60 * 1000L; //连接空闲检查
			<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
		<!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
		<property name="handleDistributedTransactions">0</property>
		
			<!--
			off heap for merge/order/group/limit      1开启   0关闭
		-->
		<property name="useOffHeapForMerge">0</property>

		<!--
			单位为m
		-->
        <property name="memoryPageSize">64k</property>

		<!--
			单位为k
		-->
		<property name="spillsFileBufferSize">1k</property>

		<property name="useStreamOutput">0</property>

		<!--
			单位为m
		-->
		<property name="systemReserveMemorySize">384m</property>


		<!--是否采用zookeeper协调切换  -->
		<property name="useZKSwitch">false</property>

		<!-- XA Recovery Log日志路径 -->
		<!--<property name="XARecoveryLogBaseDir">./</property>-->

		<!-- XA Recovery Log日志名称 -->
		<!--<property name="XARecoveryLogBaseName">tmlog</property>-->
		<!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接-->
		<property name="strictTxIsolation">false</property>
		
		<property name="useZKSwitch">true</property>
		
	</system>
	
	<!-- 全局SQL防火墙设置 -->
	<!--白名单可以使用通配符%或着*-->
	<!--例如<host host="127.0.0.*" user="root"/>-->
	<!--例如<host host="127.0.*" user="root"/>-->
	<!--例如<host host="127.*" user="root"/>-->
	<!--例如<host host="1*7.*" user="root"/>-->
	<!--这些配置情况下对于127.0.0.1都能以root账户登录-->
	<!--
	<firewall>
	   <whitehost>
	      <host host="1*7.0.0.*" user="root"/>
	   </whitehost>
       <blacklist check="false">
       </blacklist>
	</firewall>
	-->

	<!-- name登录mycat的用户 -->
	<user name="root" defaultAccount="true">
		<!-- 密码 -->
		<property name="password">123456</property>
		<!-- 可以访问的数据库，多个，隔开 -->
		<property name="schemas">DB01</property>
		
		<!-- 表级 DML 权限设置 -->
		<!-- 	
		<privileges check="true">
			<schema name="DB01" dml="0110" > 
				<table name="TB_ORDER" dml="1110"></table>
			</schema>
		</privileges>		
		 -->
	</user>
	<!-- 同上 -->
	<user name="user">
		<property name="password">123456</property>
		<property name="schemas">DB01</property>
		<!-- true只读 -->
		<property name="readOnly">true</property>
	</user>

</mycat:server>

垂直拆分

schema.xml

<schema name="SHOPPING" checkSQLschema="true" sqlMaxLimit="100">
	<table name="tb_goods_base" dataNode="dn1" primaryKey="id" />
	<table name="tb_goods_brand" dataNode="dn1" primaryKey="id" />
	<table name="tb_goods_cat" dataNode="dn1" primaryKey="id" />
	<table name="tb_goods_desc" dataNode="dn1" primaryKey="goods_id" />
	<table name="tb_goods_item" dataNode="dn1" primaryKey="id" />
	<table name="tb_order_item" dataNode="dn2" primaryKey="id" />
	<table name="tb_order_master" dataNode="dn2" primaryKey="order_id" />
	<table name="tb_order_pay_log" dataNode="dn2" primaryKey="out_trade_no" />
	<table name="tb_user" dataNode="dn3" primaryKey="id" />
	<table name="tb_user_address" dataNode="dn3" primaryKey="id" />
	<table name="tb_areas_provinces" dataNode="dn3" primaryKey="id"/>
	<table name="tb_areas_city" dataNode="dn3" primaryKey="id"/>
	<table name="tb_areas_region" dataNode="dn3" primaryKey="id"/>
</schema>
<dataNode name="dn1" dataHost="dhost1" database="shopping" />
<dataNode name="dn2" dataHost="dhost2" database="shopping" />
<dataNode name="dn3" dataHost="dhost3" database="shopping" />
<dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"
slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.200.210:3306?
useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8"
user="root" password="1234" />
</dataHost>
<dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"
slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.200.213:3306?
useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8"
user="root" password="1234" />
</dataHost>
<dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"
slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.200.214:3306?
useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8"
user="root" password="1234" />
</dataHost>

server.xml

<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">SHOPPING</property>
<!-- 表级 DML 权限设置 -->
<!--
<privileges check="true">
<schema name="DB01" dml="0110" >
<table name="TB_ORDER" dml="1110"></table>
</schema>
</privileges>
-->
</user>
<user name="user">
<property name="password">123456</property>
<property name="schemas">SHOPPING</property>
<property name="readOnly">true</property>
</user>

水平拆分

schema.xml

<schema name="ITCAST" checkSQLschema="true" sqlMaxLimit="100">
<table name="tb_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long" />
</schema>
<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

tb_log表最终落在3个节点中，分别是 dn4、dn5、dn6 ，而具体的数据分别存储在 dhost1、dhost2、dhost3的itcast数据库中。

MyCat管理

Mycat默认开通2个端口，可以在server.xml中进行修改。

  • 8066 数据访问端口，即进行 DML 和 DDL 操作。
  • 9066 数据库管理端口，即 mycat 服务管理控制功能，用于管理mycat的整个集群状态
    连接MyCat的管理控制台：
mysql -h 192.168.200.210 -p 9066 -uroot -p123456
命令含义
show @@help查看Mycat管理工具帮助文档
show @@version查看Mycat的版本
reload @@config重新加载Mycat的配置文件
show @@datasource查看Mycat的数据源信息
show @@datanode查看MyCat现有的分片节点信息
show @@threadpool查看Mycat的线程池信息
show @@sql查看执行的SQL
show @@sql.sum查看执行的SQL统计

双主双从

一个主机 Master1 用于处理所有写请求，它的从机 Slave1 和另一台主机 Master2 还有它的从机 Slave2 负责所有读请求。当 Master1 主机宕机后，Master2 主机负责写请求，Master1 、Master2 互为备机。架构图如下:
在这里插入图片描述

主库配置

修改配置文件 /etc/my.cnf

#mysql 服务ID，保证整个集群环境中唯一，取值范围：1 – 2^32-1，默认为1
server-id=1
#指定同步的数据库
binlog-do-db=db01
binlog-do-db=db02
binlog-do-db=db03
# 在作为从数据库的时候，有写入操作也要更新二进制日志文件
log-slave-updates

重启MySQL服务器
登录mysql，创建远程连接的账号，并授予主从复制权限

#创建itcast用户，并设置密码，该用户可在任意主机连接该MySQL服务
# 解释：创建名为itcast的用户，@'%'可以在任意主机上访问，密码'Root@123456'
CREATE USER 'itcast'@'%' IDENTIFIED WITH mysql_native_password BY 'Root@123456';
#为 'itcast'@'%' 用户分配主从复制权限
GRANT REPLICATION SLAVE ON *.* TO 'itcast'@'%';

通过指令，查看二进制日志坐标

show master status ;

2个主库都执行相同操作，server-id需不同

从库配置

修改配置文件 /etc/my.cnf

#mysql 服务ID，保证整个集群环境中唯一，取值范围：1 – 2^32-1，和主库不一样即可
server-id=2

重新启动MySQL服务，执行与单个主从复制相同的操作。

另一个从库也相同，server-id需不同。

主库配置

2台主库相互复制对方，操作与从库一致。

mycat配置

在这里插入图片描述
属性说明：

balance="1"
代表全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡，简单的说，当双主双从模式(M1->S1，M2->S2，并且 M1 与 M2 互为主备)，正常情况下，M2,S1,S2 都参与 select 语句的负载均衡 ;

writeType
0 : 写操作都转发到第1台writeHost, writeHost1挂了, 会切换到writeHost2上;
1 : 所有的写操作都随机地发送到配置的writeHost上 ;

switchType
-1 : 不自动切换
1 : 自动切换

双主双从+读写分离完整配置（没有分库分表）：
schema.xml：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<!-- 逻辑库，里面包含逻辑表 -->
	<!-- 逻辑库名 -->
	<schema name="DB01" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1">
	</schema>
	<!-- name数据节点名称，dataHost关联下面哪个，database数据库中的实际库名 -->
	<dataNode name="dn1" dataHost="dhost1" database="db01" />
	<!-- dbDriver="jdbc"用这个，mycat当前版本对mysql8的native支持还不是很好 -->
	<dataHost name="dhost1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="master1" url="jdbc:mysql://192.168.25.110:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="123456" >
			<readHost host="slave1" url="jdbc:mysql://192.168.25.108:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="123456" />
		</writeHost>
		<writeHost host="master2" url="jdbc:mysql://192.168.25.109:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="123456" >
			<readHost host="slave2" url="jdbc:mysql://192.168.25.107:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="123456" />
		</writeHost>
	</dataHost>
</mycat:schema>

记得server.xml 中配库的权限

mildness丶
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
mysql主从同步+MyCat读写分离+分库分表+Haproxy高可用+Keepalived心跳机制+虚拟IP.rar
09-07
在MySQL主从同步和读写分离的场景下，Haproxy可以根据配置策略，将读请求分发到从服务器，写请求转发到主服务器，确保服务的高可用性。 Keepalived则是一个心跳检测工具，常与HAProxy配合使用，实现服务器的高可用...
MySQL主从复制、读写分离（MayCat2)实现数据同步
qq_53715074的博客
03-28 3043
MySQL主从又叫Replication、AB复制。简单讲就是A与B两台机器做主从后，在A上写数据，另外一台B也会跟着写数据，实现数据实时同步。有这样几个关键点：1）MySQL主从是基于binlog，主上需开启binlog才能进行主从；2）主从过程大概有3个步骤；3）主将更改操作记录到binlog里；4）从将主的binlog事件（SQL语句） 同步本机上并记录在relaylog里；5）从根据relaylog里面的SQL语句按顺序执行。
MyCat实现MySQL读写分离（单主单从单库）
weixin_43268590的博客
10-05 858
在数据库集群架构中，主数据库负责处理事务性查询（写入操作），而从数据库只负责处理select查询（读操作），这样可以提高数据库整体读写性能。主数据库另外一个功能就是负责将数据变更同步到从数据库中。 读写分离的作用 1）分摊服务器压力，提高机器的系统处理效率。 2）当写入操作不变时，就可以大大分摊读取操作的压力，提高系统性能。另外，当读取操作的压力被分摊后，又间接提高了写入的性能。因此，数据库整体读写性能提高了。 3）增加冗余，提高服务可用性。
mysql的数据不能同步到mycat_mycat数据同步
weixin_35182625的博客
01-28 759
mysql5.7支持两种事务同步主从复制有两种方式：基于日志(binlog)、基于 GTID(全局事务标示符)。本次采用基于日志(binlog)的方式。在以前的mysql版本中，读写分离的实现一般都是基于日志的主从复制实现的，这样会产生一个问题，就是master宕机之后，slave由于同步延时的问题，会导致master和slave内容不同，甚至会多个slave之间互相不同。所以为了解决这个问题，再...
如何在多个服务器之间同步数据在MySQL集群环境下进行负载均衡和容错处理？
ZP1008yy的博客
04-01 1928
如何在多个服务器之间同步数据在MySQL集群环境下进行负载均衡和容错处理？
Mycat 配置看这一篇就懂了
沸羊羊_
08-04 3393
文章目录前言server.xml 配置system 标签user 标签property 标签privileges 标签schema.xml 配置schema 标签table 标签dataNode 标签dataHost 标签heartbeat 标签writeHost & readHost 标签小结 前言 本文将对 Mycat 配置文件进行详细介绍，搞清楚配置文件的信息，才是正确使用 Mycat 的前提。 【图片来源网络】 应用连接Mycat服务时，Mycat首先会通过server.xml中的配置信息
Mycat实现mysql主从读写分离的配置文件
最新发布
01-18
这是Mycat实现mysql主从读写分离时用到的的配置文件。 内容包括：schema.xml和server.xml。 请根据实际情况替换里面的数据库地址、用户、密码。 相关操作教程：...
linux Mysql mycat主从复制读写分离部署完成
05-31
技术：mycat mysql集群 linux mycat读写分离 说明包含： mysql数据库服务安装包 mysql+mycat主从复制读写分离部署帮助文档 mysql+mycat主从复制读写分离使用帮助文档 mysql+mycat主从复制读写分离遇到问题解决...
MySQL主从复制集群keepalived高可用LVS负载均衡MyCAT读写分离
06-12
本套课程主要介绍了MySQL主从复制、双主复制、一主多从、多主一从、多线程复制、无损复制、结合keepalived实现mysql双主高可用、LVS双主mysql负载均衡以及使用MyCat数据库中间件实现读写分离。
Mysql - 分库分表
qq_33753147的博客
09-14 934
Mysql 分库分表 -- Mycat的使用
使用子查询提高MySQL分页效率 limit
10-31 1034
SELECT * FROM table  LIMIT [offset,] rows | rows OFFSET offset     mysql> SELECT * FROM table LIMIT 5,10;  // 检索记录行 6-15 //为了检索从某一个偏移量到记录集的结束所有的记录行，可以指定第二个参数为 -1：  mysql> SELECT * FROM table LIM
MyCat|Shardingsphere-proxy：jdbc连接MySQL8.0.33的query_cache_size异常解决方案
编程学习者的博客
05-27 2846
注意navicat可能会有schema的异常，但是五官紧要！,只是这个异常被框架抛出给了jdbc连接导致不能查询数据！)，所以必然也会碰到这个问题，这个问题肯定已经是解决了的。突然灵光一闪，修改一下这个,然后重新测试发现成功了！也出现了相同的错误，也是爆出了这个异常也是无法解决(）可以修改(就是mysql的版本)？本人通过查询过很多文章，并尝试了其中的代码(）中添加版本给人看？)，但是无法解决该问题。是在8.0版本中被移除了(由于一次偶然的机会在使用。
Mysql 实现读写分离（使用MyCat1.6.6）
一朵纯洁的小白花的博客
11-29 1059
上篇讲到Mysql实现主从复制mysql 部署主从数据库_一朵纯洁的小白花的博客-CSDN博客 本篇来实现mysql在程序中的读写分离 使用到数据库中间件myCat，实现读写库的自动路由 服务器环境： linux Centos 7 mysql8.0.21 服务器三台（一主一从） 192.168.121.10 (主库)、 192.168.121.20(从库) 192.168.121.30（mycat中间件） 三台机器均需安装同一版本mysql 数据库安装步骤参考linux安装mysql详细...
Mysql分布式集群部署---MySQL集群Cluster将数据分成多个片段，每个片段存储在不同的服务器上
qq_759035366的博客
12-04 1920
在MySQL实现集群Cluster架构中，存储节点使用的存储引擎为NDB引擎。NDB引擎是一种分布式的基于内存的引擎，因此作为MySQL集群Cluster架构中的存储节点，内存一定要足够大。使用NDB引擎有以下优点：1、基于内存存储，没有磁盘I/O瓶颈，速度快。2、扩展性好，增加节点即可实现数据库集群Cluster的扩展。3、冗余性好，单个节点故障，集群还可以提供服务。同时，NDB引擎也有以下缺点：1、由于存储基于内存，因此在设备断电后数据即丢失。2、存储空间大小受内存大小限制。
项目使用mycat，出现数据查询不全问题
qq_40593496的博客
04-28 1806
进入 conf 目录，查看配置文件schema.xml 解决办法1 sqlMaxLimit="2000" 表示限制数据最大查询数为2000条， 可以选择把sqlMaxLimit限制调高。 解决办法2 给指定表关闭最大查询数限制， 如果要给表res_consignee关闭最大查询数限制， 在table标签上加上属性needAddLimit=false， 如下： ...
MySQL第九讲 MySQL集群主从搭建指定数据库同步数据
程序员路同学
05-19 4067
MySQL第九讲 MySQL集群主从搭建指定数据库同步数据
mysql主从同步+mycat2读写分离
qq_37190071的博客
11-10 903
mysql主从同步+mycat2读写分离
MyCat关键配置说明
热门推荐
弱思的专栏
02-09 2万+
本文主要是介绍MyCat主要配置文件，以及笔者对这些配置的一些理解。
mysql 集群+主从同步
weixin_30426879的博客
10-23 114
SQL节点： 给上层应用层提供sql访问。 管理节点（MGM）： 管理整个集群。 启动，关闭集群。 通过ndb_mgmd命令启动集群 存储/数据节点： 保存cluster中的数据。 数据节点，可以提供副本。实现数据冗余。 NDB引擎：是一种 “内存中”的存储引擎 ， 它具有可用性高和数据一致性好的特点。 缺陷 基于内存，数据库的规模受集群总内存的大小限制 基于...
MySQL集群安装 - 半亩小菜园.docx
02-23
在这篇文章中，我们将学习如何安装MySQL集群。这个集群包括了keepalived、haproxy、mycat和mysql等组件，通过读写分离实现高可用性和负载均衡。 首先，我们对系统架构进行了简单的介绍。我们使用CentOS 7.9作为操作...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值