第十一章 MySQL 分布式架构-Mycat

最新推荐文章于 2021-10-07 21:47:45 发布
最新推荐文章于 2021-10-07 21:47:45 发布
阅读量162 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45367149/article/details/103263921
版权
1. Mycat架构图

官网地址:
http://dl.mycat.io/
帮助文档:
http://www.mycat.io/document/mycat-definitive-guide.pdf
https://actiontech.github.io/dble-docs-cn/

在这里插入图片描述

2. MyCAT基础架构准备
#### 环境准备：
两台虚拟机 db01 db02
每台创建四个mysql实例：3307 3308 3309 3310
#### 删除历史环境：
pkill mysqld
rm -rf /data/330* 
mv /etc/my.cnf /etc/my.cnf.bak
#### 创建相关目录初始化数据
mkdir /data/33{07..10}/data -p
mysqld --initialize-insecure  --user=mysql --datadir=/data/3307/data --basedir=/usr/local/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3308/data --basedir=/usr/local/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3309/data --basedir=/usr/local/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3310/data --basedir=/usr/local/mysql
#### 准备配置文件和启动脚本
========db01==============
cat >/data/3307/my.cnf<<EOF
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3307/data
socket=/data/3307/mysql.sock
port=3307
log-error=/data/3307/mysql.log
log_bin=/data/3307/mysql-bin
binlog_format=row
skip-name-resolve
server-id=7
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3308/my.cnf<<EOF
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3308/data
port=3308
socket=/data/3308/mysql.sock
log-error=/data/3308/mysql.log
log_bin=/data/3308/mysql-bin
binlog_format=row
skip-name-resolve
server-id=8
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3309/my.cnf<<EOF
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3309/data
socket=/data/3309/mysql.sock
port=3309
log-error=/data/3309/mysql.log
log_bin=/data/3309/mysql-bin
binlog_format=row
skip-name-resolve
server-id=9
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3310/my.cnf<<EOF
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3310/data
socket=/data/3310/mysql.sock
port=3310
log-error=/data/3310/mysql.log
log_bin=/data/3310/mysql-bin
binlog_format=row
skip-name-resolve
server-id=10
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/etc/systemd/system/mysqld3307.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3307/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3308.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3308/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3309.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3309/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3310.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target	
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3310/my.cnf
LimitNOFILE = 5000
EOF
========db02===============
cat >/data/3307/my.cnf<<EOF
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3307/data
socket=/data/3307/mysql.sock
port=3307
log-error=/data/3307/mysql.log
log_bin=/data/3307/mysql-bin
binlog_format=row
skip-name-resolve
server-id=17
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3308/my.cnf<<EOF
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3308/data
port=3308
socket=/data/3308/mysql.sock
log-error=/data/3308/mysql.log
log_bin=/data/3308/mysql-bin
binlog_format=row
skip-name-resolve
server-id=18
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3309/my.cnf<<EOF
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3309/data
socket=/data/3309/mysql.sock
port=3309
log-error=/data/3309/mysql.log
log_bin=/data/3309/mysql-bin
binlog_format=row
skip-name-resolve
server-id=19
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3310/my.cnf<<EOF
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3310/data
socket=/data/3310/mysql.sock
port=3310
log-error=/data/3310/mysql.log
log_bin=/data/3310/mysql-bin
binlog_format=row
skip-name-resolve
server-id=20
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/etc/systemd/system/mysqld3307.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3307/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3308.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3308/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3309.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3309/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3310.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3310/my.cnf
LimitNOFILE = 5000
EOF
####修改权限,启动实例
chown -R mysql.mysql /data/*
systemctl start mysqld3307
systemctl start mysqld3308
systemctl start mysqld3309
systemctl start mysqld3310
#### 检查id
mysql -S /data/3307/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3308/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3309/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3310/mysql.sock -e "show variables like 'server_id'"
#### 分片规划
shard1：
Master：10.0.0.51:3307
slave1：10.0.0.51:3309
Standby Master：10.0.0.52:3307
slave2：10.0.0.52:3309
shard2：
Master：10.0.0.52:3308
slave1：10.0.0.52:3310
Standby Master：10.0.0.51:3308
#### 开始配置
### shard1
10.0.0.51:3307 <-----> 10.0.0.52:3307
## db02
mysql  -S /data/3307/mysql.sock -e "grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"
mysql  -S /data/3307/mysql.sock -e "grant all  on *.* to root@'10.0.0.%' identified by '123'  with grant option;"
## db01
mysql  -S /data/3307/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3307/mysql.sock -e "start slave;"
mysql  -S /data/3307/mysql.sock -e "show slave status\G"
## db02
mysql  -S /data/3307/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3307/mysql.sock -e "start slave;"
mysql  -S /data/3307/mysql.sock -e "show slave status\G"
10.0.0.51:3309 ------> 10.0.0.51:3307
## db01
mysql  -S /data/3309/mysql.sock  -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3309/mysql.sock  -e "start slave;"
mysql  -S /data/3309/mysql.sock  -e "show slave status\G"
10.0.0.52:3309 ------> 10.0.0.52:3307
## db02
mysql  -S /data/3309/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3309/mysql.sock -e "start slave;"
mysql  -S /data/3309/mysql.sock -e "show slave status\G"
### shard2
10.0.0.52:3308 <-----> 10.0.0.51:3308
## db01
mysql  -S /data/3308/mysql.sock -e "grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"
mysql  -S /data/3308/mysql.sock -e "grant all  on *.* to root@'10.0.0.%' identified by '123'  with grant option;"
## db02
mysql  -S /data/3308/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3308/mysql.sock -e "start slave;"
mysql  -S /data/3308/mysql.sock -e "show slave status\G"
## db01
mysql  -S /data/3308/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3308/mysql.sock -e "start slave;"
mysql  -S /data/3308/mysql.sock -e "show slave status\G"
10.0.0.52:3310 -----> 10.0.0.52:3308
## db02
mysql  -S /data/3310/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3310/mysql.sock -e "start slave;"
mysql  -S /data/3310/mysql.sock -e "show slave status\G"
10.0.0.51:3310 -----> 10.0.0.51:3308
## db01
mysql  -S /data/3310/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3310/mysql.sock -e "start slave;"
mysql  -S /data/3310/mysql.sock -e "show slave status\G"
#### 检测主从状态
mysql -S /data/3307/mysql.sock -e "show slave status\G"|grep Yes
mysql -S /data/3308/mysql.sock -e "show slave status\G"|grep Yes
mysql -S /data/3309/mysql.sock -e "show slave status\G"|grep Yes
mysql -S /data/3310/mysql.sock -e "show slave status\G"|grep Yes
!!!!!注：如果中间出现错误，在每个节点进行执行以下命令
mysql -S /data/3307/mysql.sock -e "stop slave; reset slave all;"
mysql -S /data/3308/mysql.sock -e "stop slave; reset slave all;"
mysql -S /data/3309/mysql.sock -e "stop slave; reset slave all;"
mysql -S /data/3310/mysql.sock -e "stop slave; reset slave all;"
3. Mycat安装及配置文件结构
#### 预先安装Java运行环境
yum install -y java
#### 解压文件
tar xf Mycat-server-1.6.5-release-20180122220033-linux.tar.gz
#### 配置环境变量
vim /etc/profile
export PATH=/application/mycat/bin:$PATH
source /etc/profile
#### 启动
mycat start
#### 连接mycat：
mysql -uroot -p123456 -h 127.0.0.1 -P8066

  • 配置文件介绍

    • logs目录:

      wrapper.log       ---->mycat启动日志
mycat.log         ---->mycat详细工作日志

    • onf目录:

      schema.xml         --->主配置文件（读写分离、高可用、分布式策略定制、节点控制）
server.xml         --->mycat软件本身相关的配置
rule.xml           --->分片规则配置文件,记录分片规则列表、使用方法等

  • 配置文件简单介绍

    #### 逻辑库：schema
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> 
</schema>  
#### 数据节点:datanode
<dataNode name="dn1" dataHost="localhost1" database= "world" />  
#### 数据主机：datahost(w和r)
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1"> 
  <heartbeat>select user()</heartbeat>  
<writeHost host="db1" url="10.0.0.51:3307" user="root" password="123"> 
      <readHost host="db2" url="10.0.0.52:3309" user="root" password="123" /> 
</writeHost> 
</dataHost>
4. Mycat 读写分离功能
#### 配置文件
[root@db01 /usr/local/mycat/conf]# cat schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
</schema>  
<dataNode name="dn1" dataHost="localhost1" database= "world" /> 
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1"> 
    <heartbeat>select user()</heartbeat>  
<writeHost host="db1" url="10.0.0.51:3307" user="root" password="123">
        <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" /> 
</writeHost> 
</dataHost>  
</mycat:schema>
#### 重启mycat
[root@db01 /usr/local/mycat/conf]# mycat restart
#### 测试: 
[root@db01 /usr/local/mycat/conf]# mysql -uroot -p123456 -h 127.0.0.1 -P8066
mysql> select @@server_id;                  -->读测试
mysql> begin; select @@server_id;commit;     -->写测试
5. Mycat 读写分离+高可用

在这里插入图片描述

#### 配置文件
[root@db01 conf]# mv schema.xml schema.xml.rw
[root@db01 conf]# vim schema.xml
<?xml version="1.0"?>  
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> 
</schema>  
<dataNode name="sh1" dataHost="oldguo1" database= "world" />  
<dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1"> 
    <heartbeat>select user()</heartbeat>  		
<writeHost host="db1" url="10.0.0.51:3307" user="root" password="123"> 
        <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" /> 
</writeHost> 
<writeHost host="db3" url="10.0.0.52:3307" user="root" password="123"> 
        <readHost host="db4" url="10.0.0.52:3309" user="root" password="123" /> 
</writeHost>        
</dataHost>  
</mycat:schema>
#### 重启mycat
[root@db01 /usr/local/mycat/conf]# mycat restart
#### 测试: 
[root@db01 /usr/local/mycat/conf]#  systemctl stop mysqld3307
mysql> select @@server_id;
mysql> begin; select @@server_id;commit;
6. 自带配置信息介绍

  • balance属性:

    负载均衡类型，目前的取值有3种： 
1. balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的writeHost上。 
2. balance="1"，全部的readHost与standby writeHost参与select语句的负载均衡，简单的说,当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡
3. balance="2"，所有读操作都随机的在writeHost、readhost上分发。

  • writeType属性

    负载均衡类型，目前的取值有2种： 
1. writeType="0", 所有写操作发送到配置的第一个writeHost
2. writeType="1"，所有写操作都随机的发送到配置的writeHost，但不推荐使用

  • switchType属性

    -1 表示不自动切换 
1 默认值，自动切换 
2 基于MySQL主从同步的状态决定是否切换 ，心跳语句为 show slave status

  • datahost其他配置

    maxCon="1000"：最大的并发连接数  
minCon="10" ：mycat在启动之后，会在后端节点上自动开启的连接线程
tempReadHostAvailable="1"
这个一主一从时（1个writehost，1个readhost时），可以开启这个参数，如果2个writehost，2个readhost时
<heartbeat>select user()</heartbeat>  监测心跳
7. Mycat的核心分片技术

  • 7.1 Mycat 垂直分表

    #### 配置文件
mv  schema.xml  schema.xml.ha 
vim schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="oldguo" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1">
  <table name="user" dataNode="sh1"/>
  <table name="order_t" dataNode="sh2"/>
</schema>
<dataNode name="sh1" dataHost="oldguo1" database= "taobao" />
<dataNode name="sh2" dataHost="oldguo2" database= "taobao" />
<dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">
  <heartbeat>select user()</heartbeat>
<writeHost host="db1" url="10.0.0.51:3307" user="root" password="123">
      <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" />
</writeHost>
<writeHost host="db3" url="10.0.0.52:3307" user="root" password="123">
      <readHost host="db4" url="10.0.0.52:3309" user="root" password="123" />
</writeHost>
</dataHost>
<dataHost name="oldguo2" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">
  <heartbeat>select user()</heartbeat>
<writeHost host="db1" url="10.0.0.51:3308" user="root" password="123">
      <readHost host="db2" url="10.0.0.51:3310" user="root" password="123" />
</writeHost>
<writeHost host="db3" url="10.0.0.52:3308" user="root" password="123">
      <readHost host="db4" url="10.0.0.52:3310" user="root" password="123" />
</writeHost>
</dataHost>

</mycat:schema>
#### 创建测试库和表:
 mysql -S /data/3307/mysql.sock -e "create database taobao charset utf8;"
 mysql -S /data/3308/mysql.sock -e "create database taobao charset utf8;"
 mysql -S /data/3307/mysql.sock -e "use taobao;create table user(id int,name varchar(20))";
 mysql -S /data/3308/mysql.sock -e "use taobao;create table order_t(id int,name varchar(20))"
#### 测试:
#### 后端节点查看:
[root@db01 /usr/local/mycat/conf]# mysql -S /data/3307/mysql.sock -e "show tables from taobao;"
[root@db01 /usr/local/mycat/conf]# mysql -S /data/3308/mysql.sock -e "show tables from taobao;"
#### 登录mycat查看现象:
[root@db01 /usr/local/mycat/conf]# mysql -uroot -p123456 -h10.0.0.51 -P8066
mysql> show tables;

  • 7.2 水平分表

    • 7.2.1 range分片策略应用

      vim schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="oldguo" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1">
    <table name="user" dataNode="sh1"/>
    <table name="order_t" dataNode="sh2"/>
    <table name="t3" dataNode="sh1,sh2" rule="auto-sharding-long" />
</schema>
<dataNode name="sh1" dataHost="oldguo1" database= "taobao" />
<dataNode name="sh2" dataHost="oldguo2" database= "taobao" />
<dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">
    <heartbeat>select user()</heartbeat>
<writeHost host="db1" url="10.0.0.51:3307" user="root" password="123">
  <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" />
</writeHost>
<writeHost host="db3" url="10.0.0.52:3307" user="root" password="123">
  <readHost host="db4" url="10.0.0.52:3309" user="root" password="123" />
</writeHost>
</dataHost>
<dataHost name="oldguo2" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">
  <heartbeat>select user()</heartbeat>
<writeHost host="db1" url="10.0.0.51:3308" user="root" password="123">
  <readHost host="db2" url="10.0.0.51:3310" user="root" password="123" />
</writeHost>
<writeHost host="db3" url="10.0.0.52:3308" user="root" password="123">
  <readHost host="db4" url="10.0.0.52:3310" user="root" password="123" />
</writeHost>
</dataHost>

</mycat:schema>
#### 查看:
vim rule.xml
<tableRule name="auto-sharding-long">			
<function name="rang-long"
===================================         
vim autopartition-long.txt
0-10=0
10-20=1
#### 创建测试表：
mysql -S /data/3307/mysql.sock -e "use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"
mysql -S /data/3308/mysql.sock  -e "use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"
#### 重启mycat

mycat restart
#### 测试：
mysql -uroot -p123456 -h 127.0.0.1 -P 8066
use  TSETDB
insert into t3(id,name) values(1,'a');
insert into t3(id,name) values(2,'b');
insert into t3(id,name) values(3,'c');
insert into t3(id,name) values(4,'d');
insert into t3(id,name) values(11,'aa');
insert into t3(id,name) values(12,'bb');
insert into t3(id,name) values(13,'cc');
insert into t3(id,name) values(14,'dd');

    • 7.2.2 取模分片mod-long

    取余分片方式：分片键（一个列）与节点数量进行取余，得到余数，将数据写入对应节点
vim schema.xml
添加:
<table name="t4" dataNode="sh1,sh2" rule="mod-long" />
vim rule.xml
<property name="count">2</property>
#### 创建测试表：
mysql -S /data/3307/mysql.sock -e "use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"
mysql -S /data/3308/mysql.sock -e "use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"
#### 重启mycat 
mycat restart 
#### 测试： 
mysql -uroot -p123456 -h10.0.0.51 -P8066
use TESTDB
insert into t4(id,name) values(1,'a');
insert into t4(id,name) values(2,'b');
insert into t4(id,name) values(3,'c');
insert into t4(id,name) values(4,'d');
#### 分别登录后端节点查询数据
mysql -S /data/3307/mysql.sock -e "select * from taobao.t4;"
mysql -S /data/3308/mysql.sock -e "select * from taobao.t4;"
    • 7.2.3 枚举分片sharding-by-intfile
    #### 配置文件
vim schema.xml
添加:
<table name="t5" dataNode="sh1,sh2" rule="sharding-by-intfile" />
vim rule.xml
修改:
<tableRule name="sharding-by-intfile"> 
<rule> <columns>name</columns> 
<algorithm>hash-int</algorithm> 
</rule> 
</tableRule> 

<function name="hash-int" class="org.opencloudb.route.function.PartitionByFileMap"> 
<property name="mapFile">partition-hash-int.txt</property> 
<property name="type">1</property>
          <property name="defaultNode">0</property>
</function> 
vim partition-hash-int.txt  
修改:
bj=0 
sh=1
DEFAULT_NODE=1 
#### 准备测试环境
mysql -S /data/3307/mysql.sock -e "use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"
mysql -S /data/3308/mysql.sock -e "use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"
#### 重启mycat 
mycat restart 
mysql -uroot -p123456 -h10.0.0.51 -P8066
use TESTDB
insert into t5(id,name) values(1,'bj');
insert into t5(id,name) values(2,'sh');
insert into t5(id,name) values(3,'bj');
insert into t5(id,name) values(4,'sh');
insert into t5(id,name) values(5,'tj');
#### 分别登录后端节点查询数据
mysql -S /data/3307/mysql.sock -e "select * from taobao.t5;"
mysql -S /data/3308/mysql.sock -e "select * from taobao.t5;"

  • 7.2.4 Mycat全局表
    使用场景：
    如果你的业务中有些数据类似于数据字典，比如配置文件的配置，
    常用业务的配置或者数据量不大很少变动的表，这些表往往不是特别大，
    而且大部分的业务场景都会用到，那么这种表适合于Mycat全局表，无须对数据进行切分，
    要在所有的分片上保存一份数据即可，Mycat 在Join操作中，业务表与全局表进行Join聚合会优先选择相同分片内的全局表join，
    避免跨库Join，在进行数据插入操作时，mycat将把数据分发到全局表对应的所有分片执行，在进行数据读取时候将会随机获取一个节点读取数据。

    vim schema.xml
添加: 
<table name="t_area" primaryKey="id"  type="global" dataNode="sh1,sh2" /> 
#### 后端数据准备
mysql -S /data/3307/mysql.sock 
use taobao
create table t_area (id int not null primary key auto_increment,name varchar(20) not null);
mysql -S /data/3308/mysql.sock 
use taobao
create table t_area  (id int not null primary key auto_increment,name varchar(20) not null);
#### 重启mycat 
mycat restart 
#### 测试： 
mysql -uroot -p123456 -h10.0.0.52 -P8066
use TESTDB
insert into t_area(id,name) values(1,'a');
insert into t_area(id,name) values(2,'b');
insert into t_area(id,name) values(3,'c');
insert into t_area(id,name) values(4,'d');

在这里插入图片描述
扩展::

  1. crc32slot hash槽分片
  2. sharding-by-month 按月分片
  3. E-R分片
飞鸡起飞
关注
第102讲：MySQL多实例与Mycat分布式读写分离的架构实践
江晓龙的博客
02-26 2691
logs目录:wrapper.log #mycat启动日志 mycat.log #mycat详细工作日志 conf目录:schema.xml #主配置文件（读写分离、高可用、分布式策略定制、节点控制） server.xml #mycat软件本身相关的配置 rule.xml #分片规则配置文件,记录分片规则列表、使用方法等定义一个逻辑库，一般都和真实的数据库库名保持一致，在配置文件中定义了几个schema逻辑库，通过mycat连接之后就只能看见定义的这些逻辑库，其他未定义的数据库将看不到。
深入浅出 -- 系统架构之单体到分布式架构的演变
最新发布
xiaoli8748的专栏
04-04 1351
同时，就算部署业务程序的机器损坏，也不会丢失系统数据，在一定程度上也提升了系统的抗风险性。显然，这种方式虽然成本低，数据交换快，但并不能支撑太大的访问量，当流量增大时，系统很可能因为CPU、内存、带宽、磁盘等各因素出现性能问题，而一旦遇到瓶颈，为了保证系统正常运行，集“前端、后端、运维、测试、售后……以数据库为例，数据库由于并发影响，读取数据越来越慢，所以阻塞在后端服务中等待数据返回的请求越来越多，入站流量远大于出站流量，长此以往，后端服务线程数超负荷，系统再次出现响应缓慢、无返回等严重事故。
MySQL+MyCAT架构设计分享
12-05
MySQL+MyCAT架构设计分享，主要以实际例子为基础，介绍了数据库架构设计、存储设计等。
第二十一周-day91-数据库day(13-14) 分布式架构 与 MyCAT安装和使用
linux丶晨星
08-22 416
文章目录@[toc]三、分布式数据库架构-MyCAT3.1 环境准备：3.2 2 删除历史环境：3.3 创建相关目录初始化数据3.4 准备配置文件和启动脚本3.5 修改权限，启动多实例3.6 节点主从规划3.7 分片规划3.8 开始配置3.9 检测主从状态3.10 MySQL分布式架构介绍4. MyCAT安装4.1 预先安装Java运行环境4.2 上传到/application4.3 启动和连接...
分布式mysql中间件（mycat）
热门推荐
wkwanglei的专栏
11-09 1万+
1、   MyCAT概述 1.1 背景 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足： （1）集中式处理，势必造成性能瓶颈； （2）应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性不高； （3）集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差。
MySQL之分布式中间件Mycat
阿玮的博客
07-17 368
1 介绍 Mycat基于阿里开源的Cobar产品而研发，是一个彻底开源的、面向企业应用开发的大数据库集群的分库分表中间件，在分布式架构中表现出色。使用Mycat可以搭建读写分离、高可用、垂直切分和水平切分架构，使用分布式的架构，有效解决大数据库中面对海量数据的性能瓶颈 2 环境准备 主机 实例 server_id db01 3307 7 3308 8 3309 9 3310 10 db02 3307 17 3308 18 3309 19 3310 20
MySQL-分布式架构-MyCAT
wwj0407的博客
08-22 474
1、MyCAT基础架构准备 MyCAT基础架构图 摘自oldguo 1.1 MyCAT基础架构准备 1.1.1 环境准备： 两台虚拟机 db01（10.0.0.51） db02（10.0.0.52） 每台创建四个mysql实例：3307 3308 3309 3310 1.1.2 删除历史环境： pkill mysqld rm -rf /data/330* mv /e...
高性能架构-数据库分库分表-mycat
ctotalk
12-17 8655
高性能架构-数据库分库分表-mycat 数据库分库分表后，需要对数据库进行处理，使得我们在应用层的编程DAO操作，能像正常单一数据源一样，不影响应用DAO层的业务逻辑。已有很方便的框架帮我们处理此事，比较好用的有mycat和shardingsphere.本文介绍mycat. 文章目录高性能架构-数据库分库分表-mycatMycat前世今生一、mycat是什么？二、关键特性三、使用步骤1.Mycat安装与使用2.Mycat配置入门MyCat架构图总结参考资料 Mycat前世今生 2013年阿里的Coba
Mycat生产实践---Mycat实施指南
wangshuang1631的博客
04-04 5386
1 Mycat项目实施步骤首先，全面了解Mycat的能力、目前的限制、以及可能的解决办法，然后，在此基础上，考虑是否用Mycat的分表分片功能，根据目前业务的数据模型和数据访问模式，确定几个可能的分表方案，然后对方案进行针对性的性能测试，在性能数据的基础上，最终决定采用怎样的分片策略。 了解Mycat的能力，包括如下的方面： Mycat的起源和解决的目标 Mycat在数据库中间件方面的独特功能
【Mycat1.6之操作SQLServer案例】
04-26
NULL 博文链接：https://gaojingsong.iteye.com/blog/2371403
mycat+sqlServer简单demo
05-23
window环境mycat+sqlserver简单实现demo，建立数据库和设置ip地址和用户、密码则可使用，博客地址https://blog.csdn.net/a13631477685/article/details/80415774
2021春招阿里面试必备—分布式大全：反向代理|Redis|中间件|MySQL|消息
bieber007的博客
02-07 797
这些年，分布式框架越用越成熟，越用越广泛。几前年还只是架构师和高级开发的面试必考题，现在已经连应届生都要面对了。 分布式框架看似又多又复杂，但主要集中在协调类框架如 Zookeeper，分布式缓存如 Redis，消息队列如 Kafka，数据库 MySQL 的分库分表方案如 MyCat，全文检索如 ElasticSearch，微服务如 Dubbo，方向代理如 Nginx。 每种技术都有多个框架供大家选择，具体应用依赖业务场景，大厂们内部也有自己的实现，一般面试官要求同类型的框架深入了解一个即可，毕竟学会了
MySQL MyCAT分布式架构
hawava的博客
10-07 488
目录MyCAT分布式架构介绍MyCAT 基础架构搭建MyCAT环境准备MyCAT下载安装MyCAT基本功能MyCAT配置读写分离MyCAT配置高可用MyCAT属性介绍MyCAT核心功能MyCAT垂直分表MyCAT水平拆分（分片）MyCAT范围分片MyCAT取模分片MyCAT枚举分片MyCAT全局表MyCAT ER分片 MyCAT分布式架构介绍 MyCATMycat是一个数据库中间件，是一个实现了MySQL协议的服务器。前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可
mysql分布式事务中间件选用_分布式事务中间件你知道哪些？
weixin_29290963的博客
02-05 415
原标题：分布式事务中间件你知道哪些？在分布式数据库、云原生数据库、NewSQL 等名词在数据库领域层出不穷的当今，变革——在这个相对稳定的领域已愈加不可避免。相比于完全革新，渐进式增强的方案在拥有厚重沉淀的行业则更受青睐。同所有分布式领域的解决方案相同，分而治之的透明化数据分片方案，是新一代数据库解决海量数据的核心理念。水平拆分使得分布式事务的重要性，较之垂直拆分的业务系统进一步提升。另外，弹性扩...
Mycat与Mysql高可用架构设计
纸上得来终觉浅，绝知此事要躬行
06-02 415
keepalived: 虚拟IP工具，可以虚拟一个200的地址对外访问。 haproxy：高可用代理服务，可代理TCP、HTTP。 Mycat ：数据库分库分表插件。
常见mysql分布式数据中间件
weixin_33968104的博客
01-10 94
一般分为三种： 1. proxy sharding，目前由cobar，mycat，drds，atlas修改，这几个产品的起源一般是mysqlproxy 或 ameoba，特点是mysql协议基本兼容，业务不需要做太多修改，缺点是分库分表的算法很烂，业务要自己做大堆配置 2. jdbc中间件sharding，这个和协议差不多，就是把服务实现为了一个中间件，好处是协议损失时间可以补回来，坏处是只有...
mycat的使用---sqlserver和mysql
xixihaha_123的专栏
01-11 2112
数据库中间件mycat的使用一、环境 windows server 2008r2（8核 16G内存） 、 sqlserver 、 mysql 、 mycat1.5.2二、测试前端代码（只提供C#，为了解决公司原有老项目  java的到mycat的github上面自行查找）   数据库操作如下using MySql.Data.MySqlClient;using System;using Syste...
mycat mysql好可用架构_【Mysql高可用架构(9)】初识mycat以及制作mycat镜像
weixin_42303285的博客
01-21 132
[toc]## 概述Mycat的架构其实很好理解，Mycat是代理，Mycat后面就是物理数据库。和Web服务器的Nginx类似。对于使用者来说，访问的都是Mycat，不会接触到后端的数据库。我们现在做一个主从、读写分离，简单分表的示例。结构如下图：![](https://i.vgy.me/vrBX0J.jpg)| 服务器 | IP | 说明 || --- | --- | --- || Mycat...
MyCat数据库中间件权威指南
第五章至第十章则深入讨论了MyCat的高级特性和配置。日志分析章节指导如何解读和分析MyCat的日志，包括wrapper日志、mycat日志、SQL执行分析和异常日志。防火墙配置章节讲解了如何保护MyCat集群的安全。配置章节详细...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值