一、集群的目标
二、集群的基本形式
分布式：实例
redis存储数据，可以使得数据扩容
node1中我们存储了1-10000的数据，并且我们保存了10000-20000的备份
node2中我们存储了10000-20000的数据，并且我们保存了30000-40000的备份
node3中我们存储了30000-40000的数据，并且我们保存了1-10000的备份
三、mysql的集群
3.1 集群原理
3.2 企业中常用的数据库解决方案
3.2.1 MySQL-MMM 主主复制方式
MySQL-MMM 是 Master-Master Replication Manager for MySQL（mysql 主主复制管理 器）的简称，是 Google 的开源项目 （Perl 脚本）。MMM 基于 MySQL Replication 做的扩展架构，主要用 来监控 mysql 主主复制并做失败转 移。其原理是将真实数据库节点的 IP（RIP）映射为虚拟 IP（VIP）集。 mysql-mmm 的监管端会提供多个 虚拟 IP（VIP），包括一个可写 VIP， 多个可读 VIP，通过监管的管理，这 些 IP 会绑定在可用 mysql 之上，当 某一台 mysql 宕机时，监管会将 VIP 迁移至其他 mysql。在整个监管过 程中，需要在 mysql 中添加相关授 权用户，以便让 mysql 可以支持监 理机的维护。授权的用户包括一个
mmm_monitor 用户和一个 mmm_agent 用户，如果想使用 mmm 的备份工具则还要添 加一个 mmm_tools 用户。
3.2.2 MHA（Master High Availability）只做了解
目前在 MySQL 高可用方面是一个相对成熟的解决方案, 由日本 DeNA 公司 youshimaton（现就职于 Facebook 公司）开发，是一套优秀的作为 MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中， MHA 能做到在 0~30 秒之内自动完成数据库的故障切换操作（以 2019 年的眼光来说太 慢了），并且在进行故障切换的过程中，MHA 能在最大程度上保证数据的一致性，以 达到真正意义上的高可用。
3.2.3 InnoDB Cluster
InnoDB Cluster 支持自动 Failover、强一致性、读写分离、读库高可用、读请求负载均 衡，横向扩展的特性，是比较完备的一套方案。但是部署起来复杂，想要解决 router 单点问题好需要新增组件，如没有其他更好的方案可考虑该方案。 InnoDB Cluster 主 要由 MySQL Shell、MySQL Router 和 MySQL 服务器集群组成，三者协同工作，共同为 MySQL 提供完整的高可用性解决方案。MySQL Shell 对管理人员提供管理接口，可以 很方便的对集群进行配置和管理,MySQL Router 可以根据部署的集群状况自动的初始 化，是客户端连接实例。如果有节点 down 机，集群会自动更新配置。集群包含单点写 入和多点写入两种模式。在单主模式下，如果主节点 down 掉，从节点自动替换上来， MySQL Router 会自动探测，并将客户端连接到新节点。
3.2.4 常用的解决方案
3.3 mysql主从复制
--mysql集群主从备份----------------------------------------------------------start---
# 第一步：创建主库
## 1、下载 mysql 镜像
## 2、创建 Master 实例并启动
docker run -p 3307:3306 --name mysql-master -v /mydata/mysql/master/log:/var/log/mysql -v /mydata/mysql/master/data:/var/lib/mysql -v /mydata/mysql/master/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7
### 参数说明:
### -p 3307:3306：将容器的 3306 端口映射到主机的 3307 端口
### -v /mydata/mysql/master/conf:/etc/mysql：将配置文件夹挂在到主机
### -v /mydata/mysql/master/log:/var/log/mysql：将日志文件夹挂载到主机
### -v /mydata/mysql/master/data:/var/lib/mysql/：将配置文件夹挂载到主机
### -e MYSQL_ROOT_PASSWORD=root：初始化 root 用户的密码
## 3、修改 master 基本配置 具体内容在下方，
## 注意：`skip-name-resolve 一定要加，不然连接 mysql 会超级慢`
vim /mydata/mysql/master/conf/my.cnf
[client] default-character-set=utf8
[mysql] default-character-set=utf8
[mysqld]
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve
## 4、添加 master 主从复制部分配置 具体内容在下方
vi /mydata/mysql/slaver/conf/my.cnf
##内容：
server_id=1
log-bin=mysql-bin
read-only=0
binlog-do-db=gulimall_ums
binlog-do-db=gulimall_pms
binlog-do-db=gulimall_oms
binlog-do-db=gulimall_sms
binlog-do-db=gulimall_wms
binlog-do-db=gulimall_admin
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema
## 5、重启 master
docker ps
docker restart mysql-master
--------------------------------
# 第二步：创建从库
## 2、创建Slave实例
docker run -p 3317:3306 --name mysql-slaver-01 -v /mydata/mysql/slaver/log:/var/log/mysql -v /mydata/mysql/slaver/data:/var/lib/mysql -v /mydata/mysql/slaver/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7
## 3、修改 slave 基本配置
vi /mydata/mysql/slaver/conf/my.cnf
[client] default-character-set=utf8
[mysql] default-character-set=utf8
[mysqld]
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve
## 4、添加 Slave主从复制部分配置
server_id=2
log-bin=mysql-bin
read-only=1
binlog-do-db=gulimall_ums
binlog-do-db=gulimall_pms
binlog-do-db=gulimall_oms
binlog-do-db=gulimall_sms
binlog-do-db=gulimall_wms
binlog-do-db=gulimall_admin
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema
## 5、重启 slaver
docker ps
docker restart mysql-slaver-01
------------------------------------------
# 第三步：配置 master 授权用户来他的同步数据
docker ps
## 1、进入 master 容器
docker exec -it mysql-master /bin/bash
## 2、进入 mysql 内部 （mysql –uroot -p）密码是（上一步下载镜像的时候设置的）：root
mysql -uroot -p
### 1）、授权 root 可以远程访问（ 主从无关，为了方便我们远程连接 mysql）
grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option; flush privileges;
### 2）、添加用来同步的用户
GRANT REPLICATION SLAVE ON *.* to 'backup'@'%' identified by '123456';
## 3、查看 master 状态
show master status\G;
show master status;
## 结果
+------------------+----------+---------------------------------------------------------------------------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+---------------------------------------------------------------------------------+------------------+-------------------+
| mysql-bin.000001 | 889 | gulimall_ums,gulimall_pms,gulimall_oms,gulimall_sms,gulimall_wms,gulimall_admin | | |
+------------------+----------+---------------------------------------------------------------------------------+------------------+-------------------+
File:二进制文件 Position 更新的开始位置 Binlog_Do_DB 需要同步的库 Binlog_Ignore_DB 不需要同步的库，我们设置了，可能默认就是不同步系统的库
exit;
exit;
------------------------------------------
# 第四步：配置 slaver 同步 master 数据
## 1、进入 slaver 容器
docker ps
docker exec -it mysql-slaver-01 /bin/bash
## 2、进入 mysql 内部 （mysql –uroot -p）密码是（上一步下载镜像的时候设置的）：root
mysql -uroot -p
### 1）、授权 root 可以远程访问（ 主从无关，为了方便我们远程连接 mysql）
grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option; flush privileges;
### 2）、设置主库连接master_host='192.168.3.124',master_user='backup',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=0,master_port=3307
### 这些内容都要与主库进行对应master_log_pos=0 这是开始位置可以填0 它会自动同步开始位置
###//关闭线程
STOP SLAVE IO_THREAD;
### 设置同步信息 如果 ERROR 3021 (HY000)这个错误，需要先关闭io线程，执行完后再开启
change master to master_host='192.168.3.124',master_user='backup',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=0,master_port=3307;
### //开启io线程
start SLAVE IO_THREAD;
### 3）、启动从库同步
start slave;
### 4）、查看从库状态
### 主要看：一定要保证这两个状态都是yes才正确
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
### 如果这两个数据为次状态表示可以进行同步
show slave status\G;
### 结果
*************************** 1. row ***************************
Slave_IO_State: Connecting to master
Master_Host: 192.168.3.124
Master_User: backup
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 4
Relay_Log_File: 69f30c66cc41-relay-bin.000001
Relay_Log_Pos: 4
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Connecting
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB: mysql,sys,information_schema,performance_schema
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 4
Relay_Log_Space: 154
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 2003
Last_IO_Error: error connecting to master 'backup@192.168.3.124:3306' - retry-time: 60 retries: 1
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 0
Master_UUID:
Master_Info_File: /var/lib/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp: 210807 11:14:29
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
# 第五步：测试
### 在mster主节点新建两个库：test库t1 gulimall_oms 库t1
docker ps
docker exec -it mysql-master /bin/bash
mysql -uroot -p
create database test;
create database gulimall_oms;
show databases;
use test;
CREATE TABLE t1
(
id INT(11),
name VARCHAR(25),
deptId INT(11),
salary FLOAT
);
show tables;
insert into t1 values(1,'zhangsan',1001,8.0);
select * from t1;
+------+----------+--------+--------+
| id | name | deptId | salary |
+------+----------+--------+--------+
| 1 | zhangsan | 1001 | 8 |
+------+----------+--------+--------+
exit;
exit;
### 从库会自动同步数据，在mysql-slaver-01从节点查看同步情况
docker exec -it mysql-slaver-01 /bin/bash
mysql -uroot -p
show databases;
## 结果，可以看出gulimall_oms已经被同步了过来，由于test在主库和存库设置的时候没有设置为同步的库，所以不会进行同步。
+--------------------+
| Database |
+--------------------+
| information_schema |
| gulimall_oms |
| mysql |
| performance_schema |
| sys |
+--------------------+
use test;
show tables;
select * from t1;
--mysql集群主从备份----------------------------------------------------------end-----
具体步骤：
参数说明:
-p 3307:3306：将容器的 3306 端口映射到主机的 3307 端口
-v /mydata/mysql/master/conf:/etc/mysql：将配置文件夹挂在到主机
-v /mydata/mysql/master/log:/var/log/mysql：将日志文件夹挂载到主机
-v /mydata/mysql/master/data:/var/lib/mysql/：将配置文件夹挂载到主机
-e MYSQL_ROOT_PASSWORD=root：初始化 root 用户的密码
无法同步时，需要查看日志
至此主从配置完成； 总结：
1）、主从数据库在自己配置文件中声明需要同步哪个数据库，忽略哪个数据库等信息。 并且 server-id 不能一样
2）、主库授权某个账号密码来同步自己的数据
3）、从库使用这个账号密码连接主库来同步数据
3.4 测试
四、MyCat 或者 ShardingSphere（sharding-proxy形式）
上面的方案我们进行了主从复制，但是对于一个数据表来说没有实现的数据的扩容，那么如何才能实现数据扩容呢，这就用到了MyCat 或者 ShardingSphere，来实现分库分表。
4.1 下载
http://shardingsphere.apache.org/index_zh.html
在当前文件加下 cmd
tar -xzvf apache-shardingsphere-4.1.0-sharding-proxy-bin
解压后：
4.2 配置
引入mysql驱动
把驱动放在 lib 目录下
第一步：配置server
server时必须要配置的，server中认证账号，所有的操作都是通过这个账号和密码登录到sharding-proxy代理的。
server.yaml
authentication:
users:
root:
password: root
sharding:
password: sharding
authorizedSchemas: sharding_db
props:
executor.size: 16 # Infinite by default.
sql.show: true
配置分库分表规则
在此之前：需要在192.168.3.124:3307把demo_ds_0 demo_ds_1 这两个库建出来。
schemaName: sharding_db 设置分库分表后，我们所有的操作就在sharding_db 库中执行
config-sharding.yaml
schemaName: sharding_db
dataSources:
ds_0:
url: jdbc:mysql://192.168.3.124:3307/demo_ds_0?serverTimezone=UTC&useSSL=false
username: root
password: root
connectionTimeoutMilliseconds: 30000
idleTimeoutMilliseconds: 60000
maxLifetimeMilliseconds: 1800000
maxPoolSize: 50
ds_1:
url: jdbc:mysql://192.168.3.124:3307/demo_ds_1?serverTimezone=UTC&useSSL=false
username: root
password: root
connectionTimeoutMilliseconds: 30000
idleTimeoutMilliseconds: 60000
maxLifetimeMilliseconds: 1800000
maxPoolSize: 50
shardingRule:
tables:
t_order:
actualDataNodes: ds_${0..1}.t_order_${0..1}
tableStrategy:
inline:
shardingColumn: order_id
algorithmExpression: t_order_${order_id % 2}
keyGenerator:
type: SNOWFLAKE
column: order_id
t_order_item:
actualDataNodes: ds_${0..1}.t_order_item_${0..1}
tableStrategy:
inline:
shardingColumn: order_id
algorithmExpression: t_order_item_${order_id % 2}
keyGenerator:
type: SNOWFLAKE
column: order_item_id
bindingTables:
- t_order,t_order_item
defaultDatabaseStrategy:
inline:
shardingColumn: user_id
algorithmExpression: ds_${user_id % 2}
defaultTableStrategy:
none:
读写分离
由于我们时2主2从，所以设置读写分离时要设置两个这样的文件
config-master_slave.yaml
schemaName: master_slave_db
dataSources:
master_ds_0:
url: jdbc:mysql://192.168.3.124:3307/demo_ds_0?serverTimezone=UTC&useSSL=false
username: root
password: root
connectionTimeoutMilliseconds: 30000
idleTimeoutMilliseconds: 60000
maxLifetimeMilliseconds: 1800000
maxPoolSize: 50
slave_ds_0:
url: jdbc:mysql://192.168.3.124:3317/demo_ds_0?serverTimezone=UTC&useSSL=false
username: root
password: root
connectionTimeoutMilliseconds: 30000
idleTimeoutMilliseconds: 60000
maxLifetimeMilliseconds: 1800000
maxPoolSize: 50
masterSlaveRule:
name: ms_ds
masterDataSourceName: master_ds_0
slaveDataSourceNames:
- slave_ds_0
config-master_slave_1.yaml
schemaName: master_slave_db_1
dataSources:
master_ds_1:
url: jdbc:mysql://192.168.3.124:3307/demo_ds_1?serverTimezone=UTC&useSSL=false
username: root
password: root
connectionTimeoutMilliseconds: 30000
idleTimeoutMilliseconds: 60000
maxLifetimeMilliseconds: 1800000
maxPoolSize: 50
slave_ds_1:
url: jdbc:mysql://192.168.3.124:3317/demo_ds_1?serverTimezone=UTC&useSSL=false
username: root
password: root
connectionTimeoutMilliseconds: 30000
idleTimeoutMilliseconds: 60000
maxLifetimeMilliseconds: 1800000
maxPoolSize: 50
masterSlaveRule:
name: ms_ds_1
masterDataSourceName: master_ds_1
slaveDataSourceNames:
- slave_ds_1
4.3 测试
第一步：启动sharding-proxy
cmd 在bin下运行 start.bat 3088 记住我们需要指定一个端口号，要不然我们不知道 sharding-proxy的连接端口就会无法连接。
start.bat 3088
第二步：连接sharding-proxy 需要用navicat连接，sqlyog会报错
第三步：在sharding_db 中新建2张表插入4条数据
CREATE TABLE `t_order` (
`order_id` BIGINT (20) NOT NULL,
`user_id` INT (11) NOT NULL,
`status` VARCHAR (50) COLLATE utf8_bin DEFAULT NULL,
PRIMARY KEY (`order_id`)
) ENGINE = INNODB DEFAULT CHARSET = utf8 COLLATE = utf8_bin;
CREATE TABLE `t_order_item` (
`order_item_id` BIGINT (20) NOT NULL,
`order_id` BIGINT (20) NOT NULL,
`user_id` INT (11) NOT NULL,
`content` VARCHAR (255) COLLATE utf8_bin DEFAULT NULL,
`status` VARCHAR (50) COLLATE utf8_bin DEFAULT NULL,
PRIMARY KEY (`order_item_id`)
) ENGINE = INNODB DEFAULT CHARSET = utf8 COLLATE = utf8_bin;
INSERT INTO t_order(user_id,STATUS) VALUES(1,1);
INSERT INTO t_order(user_id,STATUS) VALUES(2,2);
INSERT INTO t_order(user_id,STATUS) VALUES(3,3);
INSERT INTO t_order(user_id,STATUS) VALUES(4,4);
第四步：结果
实现了分库分表
主从备份
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
