第二十一周-day91-数据库day(13-14) 分布式架构 与 MyCAT安装和使用

最新推荐文章于 2023-01-10 17:28:14 发布
最新推荐文章于 2023-01-10 17:28:14 发布
阅读量392 收藏
点赞数
分类专栏： mysql 文章标签： DBA mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37242520/article/details/100012527
版权

文章目录

三、分布式数据库架构-MyCAT

oldguo导师的图

3.1 环境准备：

两台虚拟机 db01 db02
每台创建四个mysql实例：3307 3308 3309 3310

3.2 2 删除历史环境：

pkill mysqld
rm -rf /data/330* 
mv /etc/my.cnf /etc/my.cnf.bak

3.3 创建相关目录初始化数据

mkdir /data/33{07..10}/data -p
mysqld --initialize-insecure  --user=mysql --datadir=/data/3307/data --basedir=/application/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3308/data --basedir=/application/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3309/data --basedir=/application/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3310/data --basedir=/application/mysql

3.4 准备配置文件和启动脚本

========db01==============
cat >/data/3307/my.cnf<<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/3307/data
socket=/data/3307/mysql.sock
port=3307
log-error=/data/3307/mysql.log
log_bin=/data/3307/mysql-bin
binlog_format=row
skip-name-resolve
server-id=7
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF

cat >/data/3308/my.cnf<<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/3308/data
port=3308
socket=/data/3308/mysql.sock
log-error=/data/3308/mysql.log
log_bin=/data/3308/mysql-bin
binlog_format=row
skip-name-resolve
server-id=8
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF

cat >/data/3309/my.cnf<<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/3309/data
socket=/data/3309/mysql.sock
port=3309
log-error=/data/3309/mysql.log
log_bin=/data/3309/mysql-bin
binlog_format=row
skip-name-resolve
server-id=9
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3310/my.cnf<<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/3310/data
socket=/data/3310/mysql.sock
port=3310
log-error=/data/3310/mysql.log
log_bin=/data/3310/mysql-bin
binlog_format=row
skip-name-resolve
server-id=10
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF

cat >/etc/systemd/system/mysqld3307.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/application/mysql/bin/mysqld --defaults-file=/data/3307/my.cnf
LimitNOFILE = 5000
EOF

cat >/etc/systemd/system/mysqld3308.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/application/mysql/bin/mysqld --defaults-file=/data/3308/my.cnf
LimitNOFILE = 5000
EOF

cat >/etc/systemd/system/mysqld3309.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/application/mysql/bin/mysqld --defaults-file=/data/3309/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3310.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target

[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/application/mysql/bin/mysqld --defaults-file=/data/3310/my.cnf
LimitNOFILE = 5000
EOF


========db02===============
cat >/data/3307/my.cnf<<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/3307/data
socket=/data/3307/mysql.sock
port=3307
log-error=/data/3307/mysql.log
log_bin=/data/3307/mysql-bin
binlog_format=row
skip-name-resolve
server-id=17
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3308/my.cnf<<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/3308/data
port=3308
socket=/data/3308/mysql.sock
log-error=/data/3308/mysql.log
log_bin=/data/3308/mysql-bin
binlog_format=row
skip-name-resolve
server-id=18
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3309/my.cnf<<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/3309/data
socket=/data/3309/mysql.sock
port=3309
log-error=/data/3309/mysql.log
log_bin=/data/3309/mysql-bin
binlog_format=row
skip-name-resolve
server-id=19
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF


cat >/data/3310/my.cnf<<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/3310/data
socket=/data/3310/mysql.sock
port=3310
log-error=/data/3310/mysql.log
log_bin=/data/3310/mysql-bin
binlog_format=row
skip-name-resolve
server-id=20
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF

cat >/etc/systemd/system/mysqld3307.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/application/mysql/bin/mysqld --defaults-file=/data/3307/my.cnf
LimitNOFILE = 5000
EOF

cat >/etc/systemd/system/mysqld3308.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/application/mysql/bin/mysqld --defaults-file=/data/3308/my.cnf
LimitNOFILE = 5000
EOF

cat >/etc/systemd/system/mysqld3309.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/application/mysql/bin/mysqld --defaults-file=/data/3309/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3310.service<<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/application/mysql/bin/mysqld --defaults-file=/data/3310/my.cnf
LimitNOFILE = 5000
EOF

3.5 修改权限，启动多实例

chown -R mysql.mysql /data/*
systemctl start mysqld3307
systemctl start mysqld3308
systemctl start mysqld3309
systemctl start mysqld3310
systemctl enable mysqld3307
systemctl enable mysqld3308
systemctl enable mysqld3309
systemctl enable mysqld3310

mysql -S /data/3307/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3308/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3309/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3310/mysql.sock -e "show variables like 'server_id'"

3.6 节点主从规划

箭头指向谁是主库
    10.0.0.51:3307    <----->  10.0.0.52:3307
    10.0.0.51:3309    ------>  10.0.0.51:3307
    10.0.0.52:3309    ------>  10.0.0.52:3307

    10.0.0.52:3308  <----->    10.0.0.51:3308
    10.0.0.52:3310  ----->     10.0.0.52:3308
    10.0.0.51:3310  ----->     10.0.0.51:3308

3.7 分片规划

shard1：
    Master：10.0.0.51:3307
    slave1：10.0.0.51:3309
    Standby Master：10.0.0.52:3307
    slave2：10.0.0.52:3309
shard2：
    Master：10.0.0.52:3308
    slave1：10.0.0.52:3310
    Standby Master：10.0.0.51:3308
    slave2：10.0.0.51:3310

3.8 开始配置

shard1
10.0.0.51:3307    <----->  10.0.0.52:3307

db02
mysql  -S /data/3307/mysql.sock -e "grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"
mysql  -S /data/3307/mysql.sock -e "grant all  on *.* to root@'10.0.0.%' identified by '123'  with grant option;"

db01
mysql  -S /data/3307/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3307/mysql.sock -e "start slave;"
mysql  -S /data/3307/mysql.sock -e "show slave status\G"

db02
mysql  -S /data/3307/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3307/mysql.sock -e "start slave;"
mysql  -S /data/3307/mysql.sock -e "show slave status\G"

10.0.0.51:3309    ------>  10.0.0.51:3307

db01
mysql  -S /data/3309/mysql.sock  -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3309/mysql.sock  -e "start slave;"
mysql  -S /data/3309/mysql.sock  -e "show slave status\G"

10.0.0.52:3309    ------>  10.0.0.52:3307

db02
mysql  -S /data/3309/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3309/mysql.sock -e "start slave;"
mysql  -S /data/3309/mysql.sock -e "show slave status\G"

shard2
10.0.0.52:3308  <----->    10.0.0.51:3308
db01
mysql  -S /data/3308/mysql.sock -e "grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"
mysql  -S /data/3308/mysql.sock -e "grant all  on *.* to root@'10.0.0.%' identified by '123'  with grant option;"

db02
mysql  -S /data/3308/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3308/mysql.sock -e "start slave;"
mysql  -S /data/3308/mysql.sock -e "show slave status\G"

db01
mysql  -S /data/3308/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3308/mysql.sock -e "start slave;"
mysql  -S /data/3308/mysql.sock -e "show slave status\G"

10.0.0.52:3310    ----->       10.0.0.52:3308

db02
mysql  -S /data/3310/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3310/mysql.sock -e "start slave;"
mysql  -S /data/3310/mysql.sock -e "show slave status\G"

10.0.0.51:3310  ----->     10.0.0.51:3308

db01
mysql  -S /data/3310/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3310/mysql.sock -e "start slave;"
mysql  -S /data/3310/mysql.sock -e "show slave status\G"

3.9 检测主从状态

mysql -S /data/3307/mysql.sock -e "show slave status\G"|grep Running:
mysql -S /data/3308/mysql.sock -e "show slave status\G"|grep Running:
mysql -S /data/3309/mysql.sock -e "show slave status\G"|grep Running:
mysql -S /data/3310/mysql.sock -e "show slave status\G"|grep Running:

3.10 MySQL分布式架构介绍

oldguo导师的图

1. schema拆分及业务分库
2. 垂直拆分-分库分表
3. 水平拆分-分片

4. MyCAT安装

4.1 预先安装Java运行环境

[root@db02 ~]# yum install -y java

4.2 上传到/application

[root@db02 /server/tools]# wget http://192.168.0.163/mysql/Mycat-server-1.6.5-release-20180117003034-linux.tar.gz
[root@db02 /server/tools]# tar xf Mycat-server-1.6.5-release-20180117003034-linux.tar.gz 

[root@db02 /server/tools]# ll mycat/
total 12
drwxr-xr-x 2 root root  190 Aug 21 17:10 bin
drwxrwxrwx 2 root root    6 Mar  1  2016 catlet
drwxrwxrwx 4 root root 4096 Aug 21 17:10 conf
drwxr-xr-x 2 root root 4096 Aug 21 17:10 lib
drwxrwxrwx 2 root root    6 Jan 17  2018 logs
-rwxrwxrwx 1 root root  219 Jan 17  2018 version.txt

[root@db02 /server/tools/mycat]# ll conf
autopartition-long.txt
auto-sharding-long.txt
auto-sharding-rang-mod.txt
cacheservice.properties
dbseq.sql
ehcache.xml
index_to_charset.properties
log4j2.xml
migrateTables.properties
myid.properties
partition-hash-int.txt
partition-range-mod.txt
rule.xml
schema.xml
sequence_conf.properties
sequence_db_conf.properties
sequence_distributed_conf.properties
sequence_time_conf.properties
server.xml
sharding-by-enum.txt
wrapper.conf
zkconf
zkdownload

4.3 启动和连接

移动到/application下
[root@db02 ~]# mv /server/tools/mycat /application/

配置环境变量
vim /etc/profile
export PATH=/application/mycat/bin:$PATH
source /etc/profile

启动
[root@db02 ~]# mycat start
Starting Mycat-server...

连接mycat：
mysql -uroot -p123456 -h 10.0.0.52 -P8066
mysql>

4.4. 测试数据准备

db01:
mysql -S /data/3307/mysql.sock 
grant all on *.* to root@'10.0.0.%' identified by '123';
source /root/world.sql

mysql -S /data/3308/mysql.sock 
grant all on *.* to root@'10.0.0.%' identified by '123';
source /root/world.sql

4.5. 核心配置文件使用介绍(schema.xml)

[root@db02 /application/mycat/conf]# pwd
/application/mycat/conf
[root@db02 /application/mycat/conf]# vim schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> 
</schema>  
        <dataNode name="sh1" dataHost="oldguo1" database= "world" />         
        <dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">    
                <heartbeat>select user()</heartbeat>  
        <writeHost host="db1" url="10.0.0.51:3307" user="root" password="123"> 
                        <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" /> 
        </writeHost> 
        </dataHost>  
</mycat:schema>

配置文件的介绍：

https://blog.csdn.net/qq_34457768/article/details/81625758

balance属性
负载均衡类型，目前的取值有3种： 
1. balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的writeHost上。 
2. balance="1"，全部的readHost与standby writeHost参与select语句的负载均衡，简单的说，
  当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡。 
3. balance="2"，所有读操作都随机的在writeHost、readhost上分发。

writeType属性
负载均衡类型，目前的取值有2种： 
1. writeType="0", 所有写操作发送到配置的第一个writeHost，
第一个挂了切到还生存的第二个writeHost，重新启动后已切换后的为主，切换记录在配置文件中:dnindex.properties . 
2. writeType=“1”，所有写操作都随机的发送到配置的writeHost，但不推荐使用

switchType属性
-1 表示不自动切换 
1 默认值，自动切换 
2 基于MySQL主从同步的状态决定是否切换 ，心跳语句为 show slave status 

datahost其他配置
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1"> 

maxCon="1000"：最大的并发连接数
minCon="10" ：mycat在启动之后，会在后端节点上自动开启的连接线程

tempReadHostAvailable="1"
这个一主一从时（1个writehost，1个readhost时），可以开启这个参数，如果2个writehost，2个readhost时
<heartbeat>select user()</heartbeat>  监测心跳


(1) 逻辑库定义
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> 
</schema>  
(2) 数据节点定义
  <dataNode name="sh1" dataHost="oldguo1" database= "world" />         
(3) 数据主机定义
<dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">    
                <heartbeat>select user()</heartbeat>  
        <writeHost host="db1" url="10.0.0.51:3307" user="root" password="123"> 
                        <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" /> 
        </writeHost> 
        </dataHost>

4.6 连接测试读写分离

[root@db02 ~]# mysql -uroot -p123456 -h 10.0.0.52 -P8066
mysql> select @@server_id;    #读
+-------------+
| @@server_id |
+-------------+
|           9 |
+-------------+
1 row in set (0.00 sec)

mysql> begin;select @@server_id;commit;   #写
Query OK, 0 rows affected (0.00 sec)

+-------------+
| @@server_id |
+-------------+
|           7 |
+-------------+
1 row in set (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

4.7 读写分离+高可用功能

#将原本的配置文件备份
[root@db02 /application/mycat/conf]# mv schema.xml schema.xml.bak

#添加新的配置文件(有四个节点)
[root@db02 /application/mycat/conf]# vim schema.xml
<?xml version="1.0"?>  
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> 
</schema>  
    <dataNode name="sh1" dataHost="oldguo1" database= "world" />  
    <dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1"> 
        <heartbeat>select user()</heartbeat>  
    <writeHost host="db1" url="10.0.0.51:3307" user="root" password="123"> 
            <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" /> 
    </writeHost> 
    <writeHost host="db3" url="10.0.0.52:3307" user="root" password="123"> 
            <readHost host="db4" url="10.0.0.52:3309" user="root" password="123" /> 
    </writeHost>        
    </dataHost>  
</mycat:schema>

4.8 拥有了高可用的读写分离

#重启mycat
[root@db02 /application/mycat/conf]# mycat restart
Stopping Mycat-server...
Stopped Mycat-server.
Starting Mycat-server...
[root@db02 /application/mycat/conf]# mysql -uroot -p123456 -h 10.0.0.52 -P8066

# 读是三个节点轮询
mysql> select @@server_id;
+-------------+
| @@server_id |
+-------------+
|           9 |
+-------------+
1 row in set (0.00 sec)

mysql> select @@server_id;
+-------------+
| @@server_id |
+-------------+
|          17 |
+-------------+
1 row in set (0.00 sec)

mysql> select @@server_id;
+-------------+
| @@server_id |
+-------------+
|           9 |
+-------------+
1 row in set (0.00 sec)


#写只有一个节点，现在节点是 7
mysql> begin;select @@server_id;commit;
Query OK, 0 rows affected (0.00 sec)

+-------------+
| @@server_id |
+-------------+
|           7 |
+-------------+
1 row in set (0.01 sec)

Query OK, 0 rows affected (0.00 sec)

4.9 检查高可用功能

节点号的切换与配置文件指定的有关，莫懵

mysql -S /data/3307/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3308/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3309/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3310/mysql.sock -e "show variables like 'server_id'"

#将db01的mysql3307数据库宕掉
[root@db01 ~]# systemctl stop mysqld3307.service 

#在db02上进mycat库读写
mysql> select @@server_id;  切换为19节点
+-------------+
| @@server_id |
+-------------+
|          19 |
+-------------+
1 row in set (0.00 sec)

mysql> begin;select @@server_id;commit;  3切换为17节点
Query OK, 0 rows affected (0.00 sec)

+-------------+
| @@server_id |
+-------------+
|          17 |
+-------------+
1 row in set (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

4.10 垂直分表

垂直拆分
灵魂画师—oldguo

修改mycat的配置文件：

[root@db02 ~]# cd /application/mycat/conf/
[root@db02 /application/mycat/conf]# mv  schema.xml  schema.xml.ha
[root@db02 /application/mycat/conf]# vim schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1">
        <table name="user" dataNode="sh1"/>
        <table name="order_t" dataNode="sh2"/>
</schema>
    <dataNode name="sh1" dataHost="oldguo1" database= "taobao" />
    <dataNode name="sh2" dataHost="oldguo2" database= "taobao" />
    <dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
    <writeHost host="db1" url="10.0.0.51:3307" user="root" password="123">
            <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" />
    </writeHost>
    <writeHost host="db3" url="10.0.0.52:3307" user="root" password="123">
            <readHost host="db4" url="10.0.0.52:3309" user="root" password="123" />
    </writeHost>
    </dataHost>
    <dataHost name="oldguo2" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
    <writeHost host="db1" url="10.0.0.51:3308" user="root" password="123">
            <readHost host="db2" url="10.0.0.51:3310" user="root" password="123" />
    </writeHost>
    <writeHost host="db3" url="10.0.0.52:3308" user="root" password="123">
            <readHost host="db4" url="10.0.0.52:3310" user="root" password="123" />
    </writeHost>
    </dataHost>
</mycat:schema>


#重启mycat
mycat restart

4.11 创建测试库和表:（db01）

mysql -S /data/3307/mysql.sock -e "create database taobao charset utf8;"
mysql -S /data/3308/mysql.sock -e "create database taobao charset utf8;"
mysql -S /data/3307/mysql.sock -e "use taobao;create table user(id int,name varchar(20))";
mysql -S /data/3308/mysql.sock -e "use taobao;create table order_t(id int,name varchar(20))"

#db02上重启mycat
[root@db02 /application/mycat/conf]# mycat restart
Stopping Mycat-server...
Stopped Mycat-server.
Starting Mycat-server...

4.12 测试垂直分表

#为user表和order表 添加数据,随便添加，只是测试

[root@db02 ]# mysql -uroot -p123456 -h 10.0.0.52 -P8066
mysql> show databases;
+----------+
| DATABASE |
+----------+
| TESTDB   |
+----------+
mysql> use TESTDB
mysql> show tables;
+------------------+
| Tables_in_taobao |
+------------------+
| order_t          |
| user             |
+------------------+

mysql> insert into user(id,name) values(2,'wanglaoji');
Query OK, 1 row affected (0.02 sec)
...
mysql> select * from user;
+------+-----------+
| id   | name      |
+------+-----------+
|    1 | zs        |
|    2 | wahaha    |
|    3 | quechao   |
+------+-----------+

mysql> insert into order_t(id,name) values(99,'lcx');
Query OK, 1 row affected (0.01 sec)
...
mysql> select * from order_t;
+------+---------+
| id   | name    |
+------+---------+
|   10 | huiyuan |
|   99 | lcx     |
+------+---------+

4.13 查看

#查看3307节点的user表
[root@db01 ~]# mysql -S /data/3307/mysql.sock 
mysql> use taobao
mysql> show tables;
+------------------+
| Tables_in_taobao |
+------------------+
| user             |
+------------------+
mysql> select * from user;
+------+-----------+
| id   | name      |
+------+-----------+
|    1 | zs        |
|    1 | zs        |
|    2 | wahaha    |
|    3 | quechao   |
+------+-----------+



#查看3308节点的order表
[root@db01 ~]# mysql -S /data/3308/mysql.sock 
mysql> use taobao
mysql> show tables;
+------------------+
| Tables_in_taobao |
+------------------+
| order_t          |
+------------------+

mysql> select * from order_t;
+------+---------+
| id   | name    |
+------+---------+
|   10 | huiyuan |
|   99 | lcx     |
+------+---------+

4.14 MyCAT核心特性——分片（水平拆分）

分片：对一个"bigtable"，比如说t3表
(1)行数非常多，800w
(2)访问非常频繁

分片的目的：
（1）将大数据量进行分布存储
（2）提供均衡的访问路由

分片策略：
范围 range  800w  1-400w 400w01-800w
取模 mod    取余数
枚举 
哈希 hash 
时间 流水

优化关联查询
全局表
ER分片

4.15 范围分片

比如说t3表
(1)行数非常多，2000w（1-1000w:sh1   1000w01-2000w:sh2）
(2)访问非常频繁，用户访问较离散

[root@db02 /application/mycat/conf]# cp  schema.xml schema.xml.1

vim schema.xml  #修改这一段
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> 
        <table name="t3" dataNode="sh1,sh2" rule="auto-sharding-long" />
</schema>  
    <dataNode name="sh1" dataHost="oldguo1" database= "taobao" /> 
    <dataNode name="sh2" dataHost="oldguo2" database= "taobao" />  

vim rule.xml
<tableRule name="auto-sharding-long">
                <rule>
                        <columns>id</columns>
                        <algorithm>rang-long</algorithm>
                </rule>             
<function name="rang-long"
    class="io.mycat.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
</function>

4.16 准备测试环境

[root@db02 /application/mycat/conf]# cat autopartition-long.txt
0-10=0
11-20=1

4.17 创建测试表(db01)

mysql -S /data/3307/mysql.sock -e "use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"

mysql -S /data/3308/mysql.sock  -e "use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"

#db02上重启mycat
mycat restart

4.18 测试(db02上)

mysql -uroot -p123456 -h10.0.0.52 -P8066
mysql> use TESTDB
Database changed
mysql> show tables;
+------------------+
| Tables_in_taobao |
+------------------+
| t3               |
| user             |
+------------------+
2 rows in set (0.00 sec)

insert into t3(id,name) values(1,'a');
insert into t3(id,name) values(2,'b');
insert into t3(id,name) values(3,'c');
insert into t3(id,name) values(4,'d');
insert into t3(id,name) values(11,'aa');
insert into t3(id,name) values(12,'bb');
insert into t3(id,name) values(13,'cc');
insert into t3(id,name) values(14,'dd');


mysql> select * from t3;
+----+------+
| id | name |
+----+------+
|  1 | a    |
|  2 | b    |
|  3 | c    |
|  4 | d    |
| 11 | aa   |
| 12 | bb   |
| 13 | cc   |
| 14 | dd   |
+----+------+
8 rows in set (0.13 sec)

4.19 (db01上)

分别登录后端节点查询数据效果

[root@db01 ~]# mysql -S /data/3307/mysql.sock  -e "select * from taobao.t3"
+----+------+
| id | name |
+----+------+
|  1 | a    |
|  2 | b    |
|  3 | c    |
|  4 | d    |
+----+------+
[root@db01 ~]# mysql -S /data/3308/mysql.sock  -e "select * from taobao.t3"
+----+------+
| id | name |
+----+------+
| 11 | aa   |
| 12 | bb   |
| 13 | cc   |
| 14 | dd   |
+----+------+

4.20 取模分片（mod-long）：

取余分片方式：分片键（一个列）与节点数量进行取余，得到余数，将数据写入对应节点
vim schema.xml
<table name="t4" dataNode="sh1,sh2" rule="mod-long" />
vim rule.xml
<property name="count">2</property>

准备测试环境
     
创建测试表：(db01)
mysql -S /data/3307/mysql.sock -e "use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"
mysql -S /data/3308/mysql.sock -e "use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"

重启mycat (db02)
mycat restart

4.21 测试：

#db02上添加测试数据
mysql -uroot -p123456 -h10.0.0.52 -P8066
use TESTDB
insert into t4(id,name) values(1,'a');
insert into t4(id,name) values(2,'b');
insert into t4(id,name) values(3,'c');
insert into t4(id,name) values(4,'d');

分别登录后端节点查询数据（db01上）

[root@db01 ~]# mysql -S /data/3307/mysql.sock -e "use taobao;select * from t4"
+----+------+
| id | name |
+----+------+
|  2 | b    |
|  4 | d    |
+----+------+
[root@db01 ~]# mysql -S /data/3308/mysql.sock -e "use taobao;select * from t4"
+----+------+
| id | name |
+----+------+
|  1 | a    |
|  3 | c    |
+----+------+

4.22 14. 枚举分片

t5 表
id name telnum
1   bj   1212
2   sh   22222
3   bj   3333
4   sh   44444
5   bj   5555

sharding-by-intfile

#db02上
[root@db02 /application/mycat/conf]# vim schema.xml
<table name="t5" dataNode="sh1,sh2" rule="sharding-by-intfile" />


[root@db02 /application/mycat/conf]# vim rule.xml
<tableRule name="sharding-by-intfile"> 
<rule> <columns>name</columns> 
<algorithm>hash-int</algorithm> 
</rule> 
</tableRule> 

<function name="hash-int" class="org.opencloudb.route.function.PartitionByFileMap"> 
<property name="mapFile">partition-hash-int.txt</property> 
  <property name="type">1</property>
                <property name="defaultNode">0</property>
</function> 


#partition-hash-int.txt 配置： 
[root@db02 /application/mycat/conf]# cat partition-hash-int.txt 
bj=0 
sh=1
DEFAULT_NODE=1 

按照schema.xml中的先后排序，
columns 标识将要分片的表字段，
algorithm 分片函数， 
其中分片函数配置中，mapFile标识配置文件名称

4.23 准备测试环境

db01上：
mysql -S /data/3307/mysql.sock -e "use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"
mysql -S /data/3308/mysql.sock -e "use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"

重启mycat 
mycat restart 


添加测试数据(db02)
mysql -uroot -p123456 -h10.0.0.52 -P8066
use TESTDB
insert into t5(id,name) values(1,'bj');
insert into t5(id,name) values(2,'sh');
insert into t5(id,name) values(3,'bj');
insert into t5(id,name) values(4,'sh');
insert into t5(id,name) values(5,'tj');

4.24 测试效果：

分别登录后端节点查询数据

[root@db01 ~]# mysql -S /data/3307/mysql.sock -e "use taobao;select * from t5;"
+----+------+
| id | name |
+----+------+
|  1 | bj   |
|  3 | bj   |
+----+------+
[root@db01 ~]# mysql -S /data/3308/mysql.sock -e "use taobao;select * from t5;"
+----+------+
| id | name |
+----+------+
|  2 | sh   |
|  4 | sh   |
|  5 | tj   |
+----+------+

4.25 Mycat全局表

a   b   c  d   
join 
t 

select  t1.name   ,t.x  from  t1 
join t 
select  t2.name   ,t.x  from  t2 
join t 
select  t3.name   ,t.x  from  t3 
join t

4.26 使用场景：

如果你的业务中有些数据类似于数据字典，比如配置文件的配置，
常用业务的配置或者数据量不大很少变动的表，这些表往往不是特别大，
而且大部分的业务场景都会用到，那么这种表适合于Mycat全局表，无须对数据进行切分，
要在所有的分片上保存一份数据即可，Mycat 在Join操作中，业务表与全局表进行Join聚合会优先选择相同分片内的全局表join，
避免跨库Join，在进行数据插入操作时，mycat将把数据分发到全局表对应的所有分片执行，在进行数据读取时候将会随机获取一个节点读取数据。

vim schema.xml 
<table name="t_area" primaryKey="id"  type="global" dataNode="sh1,sh2" /> 

后端数据准备(db01)
mysql -S /data/3307/mysql.sock 
use taobao
create table t_area (id int not null primary key auto_increment,name varchar(20) not null);

mysql -S /data/3308/mysql.sock 
use taobao
create table t_area  (id int not null primary key auto_increment,name varchar(20) not null);

重启mycat (db02)
mycat restart

4.27 准备测试环境

mysql -uroot -p123456 -h10.0.0.52 -P8066

use TESTDB
insert into t_area(id,name) values(1,'a');
insert into t_area(id,name) values(2,'b');
insert into t_area(id,name) values(3,'c');
insert into t_area(id,name) values(4,'d');

4.28 测试效果

[root@db01 ~]# mysql -S /data/3307/mysql.sock -e "use taobao;select * from t_area;"
+----+------+
| id | name |
+----+------+
|  1 | a    |
|  2 | b    |
|  3 | c    |
|  4 | d    |
+----+------+
[root@db01 ~]# mysql -S /data/3308/mysql.sock -e "use taobao;select * from t_area;"
+----+------+
| id | name |
+----+------+
|  1 | a    |
|  2 | b    |
|  3 | c    |
|  4 | d    |
+----+------+

4.29 E-R分片

A join B  

为了防止跨分片join，可以使用E-R模式
A   join   B
on  a.xx=b.yy
join C
on A.id=C.id

#分片策略 schema.xml
<table name="A" dataNode="sh1,sh2" rule="mod-long"> 
       <childTable name="B" joinKey="yy" parentKey="xx" /> 
</table>

4.30 扩展

按月的分片策略
crc32slot

4.31 逻辑库的操作

[root@db02 /application/mycat/conf]# vim schema.xml


[root@db02 /application/mycat/conf]# vim server.xml


mycat restart
mysql -uroot -p123456 -h10.0.0.52 -P8066
mysql> show databases;
+----------+
| DATABASE |
+----------+
| oldguo   |
+----------+

Linux丶晨星
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
高可用架构篇 MyCat集群部署（HAProxy + MyCat）
qingtian211的博客
02-16 3255
高可用架构篇 MyCat集群部署（HAProxy + MyCat） 参考实战视频：http://www.roncoo.com/course/view/85d6008fe77c4199b0cdd2885eaeee53 一、本节课程的依赖课程 《高可用架构篇--第13节--MySQL源码编译安装（CentOS-6.6+MySQL-5.6）》 《高可用架构篇--第14节--MySQL主从
《Mycat分布式数据库架构》之原理及架构
程序员大佬超的博客
08-29 1122
随着大数据的蓬勃发展，当数据量的增长达到一定程度的时候，传统关系型数据库就有了单点故障及容量问题，为解决这类问题，程序员大佬超带你们学习下数据库中间件Mycat。 Mycat是基于阿里的Cobar开发的一款面向企业级应用的开源 数据库中间件 产品，它目前支持数据库集群、分布式事务与ACID，被普遍视为基于MySQL技术的集群分布式数据库解决方案。支持百亿级别的数据分片和并行计算，支持高可用和MySOL的读写分离。 Mycat不仅可以轻松对接MySQL、SQL Server等传统关系型数据库，也融合了内存..
mycat+sqlServer简单demo配置
a13631477685的博客
05-23 9159
1.Mycat介绍Mycat 是一个开源的分布式数据库系统，是一个实现了 MySQL 协议的的Server，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用MySQL 原生（Native）协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为 N 个小表，存储在后端 MySQ...
【Mycat1.6之操作SQLServer案例】
04-26 1627
永久链接: http://gaojingsong.iteye.com/blog/2345449 预览文章: Mycat链接SQLServer2005出现TDS 预登录响应不完整  解决方案如下：使用navcat连接SQLServer数据库，把SQLServer数据库当Mysql数据库处理即可，因为有了Mycat后端都是Mysql数据库了，对外屏蔽了数据库底层，你压根不知道后端使用的啥数...
中间件（Mysql篇）
老苏的一日三浪
01-10 523
一些看到的MySQL相关文章，整理供阅读
分布式数据库架构及企业实践-基于Mycat中间件.pdf
03-18
分布式数据库架构及企业实践——基于Mycat中间件由资深 Mycat 专家及一线架构师、DBA 编写而成。全书总计 8 章，首先简单介绍了分布式系统和分布式数据库的需求，然后讲解了分布式数据库的实现原理，并对市场上存在...
分布式数据库架构及企业实践-基于Mycat中间件
03-14
分布式数据库架构及企业实践-基于Mycat中间件【高清版本】这是个压缩包，里面是个pdf文件，详细的介绍了mycat中间件的使用方法。 内容简介 本书由资深 Mycat 专家及一线架构师、DBA 编写而成。全书总计 8 章，首先...
cpp-Mycat2全新架构的分布式数据库中间件
08-16
在保证高并发处理能力的同时，Mycat2与各种数据库系统（如MySQL、Oracle等）有良好的兼容性，能够无缝接入现有的数据库架构。此外，它还提供了丰富的API和配置选项，方便开发者进行二次开发和定制，满足多样化的业务...
MySQL+MyCAT架构设计分享
12-05
MySQL+MyCAT架构设计分享，主要以实际例子为基础，介绍了数据库架构设计、存储设计等。
MyCAT+MySQL分布式架构搭建
零零喵的博客
10-05 2239
https://blog.csdn.net/weixin_36135773/article/details/78800128
mycat+sqlServer简单demo
05-23
window环境mycat+sqlserver简单实现demo，建立数据库和设置ip地址和用户、密码则可使用，博客地址https://blog.csdn.net/a13631477685/article/details/80415774
mycat实现简单的mysql集群负载均衡
热门推荐
小浩子的博客
07-14 1万+
什么是mycat呢？简单理解为一个mysql中间件，它支持分流、基于心跳的自动故障切换，支持读写分离，支持MySQL主从，基于Nio管理线程的高并发… 详见官网：http://www.mycat.io/ 为什么需要mysql集群？一个庞大的分布式系统的性能瓶颈中，最脆弱的就是连接，一个是客户端与后端的连接，另一个是后端与数据库的连接，说白了就是发送端请求太多，接收端能够的接收和处理的请求并不多，
mycat mysql好可用架构_【Mysql高可用架构(9)】初识mycat以及制作mycat镜像
weixin_42303285的博客
01-21 125
[toc]## 概述Mycat的架构其实很好理解，Mycat是代理，Mycat后面就是物理数据库。和Web服务器的Nginx类似。对于使用者来说，访问的都是Mycat，不会接触到后端的数据库。我们现在做一个主从、读写分离，简单分表的示例。结构如下图：![](https://i.vgy.me/vrBX0J.jpg)| 服务器 | IP | 说明 || --- | --- | --- || Mycat...
MyCAT高可用方案和架构图
Data & Analysis
09-13 2929
MyCAT的优势 基于阿里开源的Cobar产品而研发，Cobar的稳定性、可靠性、优秀的架构和性能以及众多成熟的使用案例使得MYCAT一开始就拥有一个很好的起点，站在巨人的肩膀上，我们能看到更远。业界优秀的开源项目和创新思路被广泛融入到MYCAT的基因中，使得MYCAT在很多方面都领先于目前其他一些同类的开源项目，甚至超越某些商业产品。 MYCAT背后有一支强大的技术团队，其参与者都是5年以上资深...
MySQL MyCAT分布式架构
hawava的博客
10-07 471
目录MyCAT分布式架构介绍MyCAT 基础架构搭建MyCAT环境准备MyCAT下载安装MyCAT基本功能MyCAT配置读写分离MyCAT配置高可用MyCAT属性介绍MyCAT核心功能MyCAT垂直分表MyCAT水平拆分（分片）MyCAT范围分片MyCAT取模分片MyCAT枚举分片MyCAT全局表MyCAT ER分片 MyCAT分布式架构介绍 MyCATMycat是一个数据库中间件，是一个实现了MySQL协议的服务器。前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可
Mycat与Mysql高可用架构设计
纸上得来终觉浅，绝知此事要躬行
06-02 399
keepalived: 虚拟IP工具，可以虚拟一个200的地址对外访问。 haproxy：高可用代理服务，可代理TCP、HTTP。 Mycat ：数据库分库分表插件。
分布式mysql中间件（mycat）
weixin_30710457的博客
02-26 82
1、MyCAT概述 1.1背景 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足： （1）集中式处理，势必造成性能瓶颈； （2）应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性不高； （3）集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差。 ...
MyCat配置文件详解--server.xml
Fighter168的专栏
09-07 7757
mycat的server.xml配置文件详解
分布式数据库架构及企业实践 基于mycat中间件 pdf
最新发布
05-01
例如，支付宝就使用了分布式数据库架构，并在mycat的基础上进行了二次开发。支付宝的数据库集群包括了多个分片节点，并通过mycat对访问进行路由和负载均衡，实现了近乎线性的扩展性。在2017年双十一的购物狂欢节中，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值