2024年大数据最新Mycat搭建读写分离(一主一从、双主双从)_mycat配置主从，2024年最新学大数据开发的入门基础知识

于 2024-05-13 22:57:19 发布
阅读量928 收藏 17
点赞数 13
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84187537/article/details/138823349
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

我们通过
Mycat 和
MySQL的主从复制配合搭建数据库的读写分离，实现
MySQL的高可用性。我们将搭建一主一从、双主双从两种读写分离模式。

一、搭建一主一从

一个主机用于处理所有写请求，一台从机负责所有读请求，架构图如下：

在这里插入图片描述

主从复制原理：

在这里插入图片描述

编号角色IP地址机器名
1Master192.168.110.146ubuntu-mysql-master
2Slaver192.168.110.147ubuntu-mysql-slaver
1.1、安装 MySQL

Ubuntu 在线安装

  1. 更新仓库
sudo apt update
  1. 安装 MySQL5.7
sudo apt install mysql-server -y

安装 期间会要求输入root登录密码
3. 安装完成，查看数据库版本

mysql --version
  1. 查看数据库是否正常启动
# 查看启动状态
systemctl status mysql.service
# 停止MySQL服务
systemctl status mysql.service
# 启动MySQL服务
systemctl status mysql.service
  1. 登录MySQL，并设置root账户允许远程连接
# 登录MySQL
mysql -uroot -p123456
# 切换mysql数据库
use mysql;
# 修改允许使用root账户连接的ip为任意
update user set host='%' where user='root';
# 刷新权限
flush privileges;

  1. 无法远程连接MySQL

    • 检查配置文件

      • 查看端口开放情况
      netstat -an | grep 3306
tcp        0      0 127.0.0.1:3306          0.0.0.0:*               LISTEN
      • 开放端口并重新启动
      # 编辑MySQL配置
vi /etc/mysql/mysql.conf.d/mysqld.cnf
#注释掉这行
# bind-address = 127.0.0.1
# 重新启动MySQL
service mysql restart
# 查看端口监听状态
netstat -an | grep 3306
tcp6       0      0 :::3306                 :::*                    LISTEN

    • 检查防火墙

    # 查看防火墙状态
systemctl status firewalld
# 关闭防火墙
systemctl stop firewalld
# 开启防火墙
systemctl start firewalld
1.2、主机配置

修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf

vi /etc/mysql/mysql.conf.d/mysqld.cnf

具体配置如下：

# 主机配置-主机配置
# 主服务唯一ID
server-id=1
# 启用二进制日志
log-bin=mysql-bin
# 设置不要复制的数据库(可设置多个)
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
# 设置需要复制的数据库
binlog-do-db=需要复制的主数据库名字
# 设置 logbin 格式
binlog_format=STATEMENT

binlog日志三种格式

  • STATEMENT
  • ROW
  • MIXED
1.3、从机配置

修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf

vi /etc/mysql/mysql.conf.d/mysqld.cnf

具体配置如下：

# 主机配置-从机配置
# 从服务器唯一ID
server-id=2
# 启用中继日志
relay-log=mysql-relay
1.4、注意事项
  • 主机、从机配置好后需要重启MySQL 服务
# 查看启动状态
systemctl status mysql.service
# 停止MySQL服务
systemctl stop mysql.service
# 启动MySQL服务
systemctl start mysql.service
# 重启MySQL服务
systemctl restart mysql.service
  • 主机、从机需要关闭防火墙
# 查看防火墙状态
systemctl status firewalld
# 关闭防火墙
systemctl stop firewalld
# 开启防火墙
systemctl start firewalld
  • 在主机上建立账户并授权 slave
# 登录MySQL
mysql -uroot -p123456
# 切换数据库
use mysql;
#在主机MySQL里执行授权命令
GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%' IDENTIFIED BY '123456';
1.5、主从配置
  1. 登录主机，查询master的状态
mysql> show master status;
+------------------+----------+--------------+--------------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB         | Executed_Gtid_Set |
+------------------+----------+--------------+--------------------------+-------------------+
| mysql-bin.000001 |      430 | testdb       | mysql,information_schema |                   |
+------------------+----------+--------------+--------------------------+-------------------+
1 row in set (0.00 sec)

记录 File 和Position的值。

执行完次步骤后不要再操作主服务器MySQL，防止主服务器状态值发生变化

  1. 登录从机，配置需要复制的主机

复制主机的命令

CHANGE MASTER TO MASTER_HOST='主机的IP地址',
MASTER_USER='slave',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.具体数字',MASTER_LOG_POS=具体值;

启动从服务器复制功能

start slave;

如果该服务配置过主从复制，则需要先进行重置

# 停止从服务复制功能
stop slave;
# 重新配置主从
stop slave;
reset master;

查看从服务器状态

show slave status\G;


mysql> show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.110.146
                  Master_User: slave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 430
               Relay_Log_File: mysql-relay.000002
                Relay_Log_Pos: 320
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 430
              Relay_Log_Space: 523
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 1
                  Master_UUID: 41b59ebe-ea5d-11ec-9dd9-000c2930ff90
             Master_Info_File: /var/lib/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind: 
      Last_IO_Error_Timestamp: 
     Last_SQL_Error_Timestamp: 
               Master_SSL_Crl: 
           Master_SSL_Crlpath: 
           Retrieved_Gtid_Set: 
            Executed_Gtid_Set: 
                Auto_Position: 0
         Replicate_Rewrite_DB: 
                 Channel_Name: 
           Master_TLS_Version: 
1 row in set (0.00 sec)

ERROR: 
No query specified

Slave_IO_Running、Slave_SQL_Running都为Yes，则说明主从配置成功。

1.6、验证

登录主数据库

mysql -uroot -p123456

创建数据库

create database testdb;

创建表

use testdb;
create table test_table(id int, name varchar(255));

插入数据

insert into test_table values (1, 'Micromaple');

查询数据

select * from test_table;
1.7、配置 Mycat 读写分离

修改<dataHost>的balance(负载均衡)属性，通过此属性配置读写分离的类型

balance(负载均衡)类型目前有4种：

  • balance="0"：不开启读写分离机制，所有读操作都发送到当前可用的 writeHost上。
  • balance="1"：全部的readHost与stand by writeHost参与select语句的负载均衡，简单的说，当双主双从 模式(M1->S1，M2->S2，并且M1与M2互为主备)，正常情况下，M2,S1,S2 都参与select语句的负载均衡。
  • balance="2"：所有读操作都随机的在writeHost、readhost 上分发。
  • balance="3"：所有读请求随机的分发到readhost执行，writerHost不负担读压力。

为了能看到效果，把balance设置成2，会在两个主机之间切换查询。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
        </schema>
        <dataNode name="dn1" dataHost="host1" database="testdb" />
        <dataHost name="host1" maxCon="1000" minCon="10" balance="2"
 writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="hostM1" url="192.168.110.146:3306" user="root"
 password="123456">
                        <!-- can have multi read hosts -->
                        <readHost host="hostS1" url="192.168.110.147:3306" user="root" password="123456" />
                </writeHost>
        </dataHost>
</mycat:schema>
1.7.1、验证配置
  • 在写主机插入数据带系统变量数据，造成主从数据不一致
insert into test_table values(1, @@hostname)


+ `@@hostname`：主机名称
+ 如果主机和从机名称一样可以修改主机名称，让主从插入数据不一致

 
```
hostnamectl set-hostname mysql-master
hostnamectl set-hostname mysql-slaver

```
  • 启动Mycat
 ./mycat console
  • 远程登录Mycat
mysql -umycat -p123456 -h192.168.110.145 -P8066
  • 切换数据库
use TESTDB
  • 执行查询语句，观察是否随机切换查询
select * from test_table;

二、搭建双主双从

一个主机master1用于处理所有写请求，它的从机slave1和另一台主机master2还有它的从机slave2负责所有读请 求。当master1主机宕机后，master2主机负责写请求，master1，master2互为备机。架构图如下：
在这里插入图片描述

编号角色IP地址机器名
1Master1192.168.110.146ubuntu-mysql-master
2Slaver1192.168.110.147ubuntu-mysql-slaver
3Master2192.168.110.148ubuntu-mysql-master2
4Slaver2192.168.110.149ubuntu-mysql-slaver2
2.1、双主机配置
2.2.1、主机Master1配置

修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf

vi /etc/mysql/mysql.conf.d/mysqld.cnf

具体配置如下：

# 主机配置-主机配置
# 主服务唯一ID
server-id=1
# 启用二进制日志
log-bin=mysql-bin
# 设置不要复制的数据库(可设置多个)
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
# 设置需要复制的数据库
binlog-do-db=需要复制的主数据库名字
# 设置 logbin 格式
binlog_format=STATEMENT
# 在作为从数据库的时候，有写入操作也要更新二进制日志文件
log-slave-updates
# 表示自增长字段每次递增的量，指自增字段的起始值，其默认值是1，取值范围是1~65535
auto-increment-increment=2
# 表示自增长字段从哪个数开始，指字段一次递增多少，取值范围是1~65535
auto-increment-offset=1
2.2.2、主机Master2配置

修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf

vi /etc/mysql/mysql.conf.d/mysqld.cnf

具体配置如下：

# 主机配置-主机配置
# 主服务唯一ID
server-id=3
# 启用二进制日志
log-bin=mysql-bin
# 设置不要复制的数据库(可设置多个)
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
# 设置需要复制的数据库
binlog-do-db=需要复制的主数据库名字
# 设置 logbin 格式
binlog_format=STATEMENT
# 在作为从数据库的时候，有写入操作也要更新二进制日志文件
log-slave-updates
# 表示自增长字段每次递增的量，指自增字段的起始值，其默认值是1，取值范围是1~65535
auto-increment-increment=2
# 表示自增长字段从哪个数开始，指字段一次递增多少，他的取值范围是1~65535
auto-increment-offset=2
2.2、双从机配置
2.2.1、从机Slaver1配置

修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf

vi /etc/mysql/mysql.conf.d/mysqld.cnf

具体配置如下：

# 主机配置-从机配置
# 从服务器唯一ID
server-id=2
# 启用中继日志
relay-log=mysql-relay
2.2.2、从机Slaver2配置

修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf

vi /etc/mysql/mysql.conf.d/mysqld.cnf

具体配置如下：

# 主机配置-从机配置
# 从服务器唯一ID
server-id=4
# 启用中继日志
relay-log=mysql-relay
2.3、注意事项
  • 主机、从机配置好后需要重启MySQL 服务
# 查看启动状态
systemctl status mysql.service
# 停止MySQL服务


![img](https://img-blog.csdnimg.cn/img_convert/b77224c63996d6b4df61470ad445261a.png)
![img](https://img-blog.csdnimg.cn/img_convert/a674b2a0a461e447d04108d0f0169aa5.png)
![img](https://img-blog.csdnimg.cn/img_convert/ea1873d1da89f1330230506dbe76a142.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**



##### 2.2.2、从机`Slaver2`配置


修改配置文件`/etc/mysql/mysql.conf.d/mysqld.cnf`

vi /etc/mysql/mysql.conf.d/mysqld.cnf


具体配置如下：

主机配置-从机配置

从服务器唯一ID

server-id=4

启用中继日志

relay-log=mysql-relay


#### 2.3、注意事项


* 主机、从机配置好后需要重启`MySQL` 服务

查看启动状态

systemctl status mysql.service

停止MySQL服务

[外链图片转存中…(img-6Ogbm36Z-1715612216314)]
[外链图片转存中…(img-zAVUCiP1-1715612216314)]
[外链图片转存中…(img-8RlROXji-1715612216315)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

2401_84187537
关注
  • 13
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mycat 搭建主从复制 以及双主双从，和水平拆分，垂直拆分
08-17
Mycat 搭建主从复制、双主双从、水平拆分、垂直拆分 Mycat 是一种数据库中间件，位于 Java 应用程序和数据库之间，主要功能包括读写分离、数据分片（垂直拆分和水平拆分）、多数据源整合等。下面是 Mycat 的详细...
【Mycat】Mycat主从复制，垂直分库
qq_60969145的博客
11-14 793
是,所谓中间件,,以便软件各部件之间的通信。例如 tomcat，web的中间件。而数据库中间件是连接Java应用程序和数据库中间的软件。
MyCat教程【mysql主从复制实现】
z_ssyy的博客
12-10 997
单个mysql数据库在处理业务的时候肯定是有限的，这时我们扩展数据库的第一种方式就是对数据库做读写分离（主从复制）,本文我们就先来介绍下怎么来实现mysql的主从复制操作。
Mycat搭建读写分离(一主一从、双主双从)
微枫Micromaple的博客
06-20 5028
我们通过 和 的主从复制配合搭建数据库的读写分离，实现的高可用性。我们将搭建一主一从、双主双从两种读写分离模式。一个主机用于处理所有写请求，一台从机负责所有读请求。 安装 安装 期间会要求输入登录密码安装完成，查看数据库版本 查看数据库是否正常启动 登录，并设置账户允许远程连接 无法远程连接检查配置文件查看端口开放情况 开放端口并重新启动 检查防火墙 主机配置 修改配置文件 具体配置如下： 日志三种格式修改配置文件 具体配置如...
Mycat搭建读写分离(一主一从、双主双从)_mycat配置主从(1)
最新发布
2301_82241942的博客
04-30 482
MySQLroot无法远程连接MySQL检查配置文件检查防火墙。
MySQL运维5-Mycat配置
sdgfafg_25的博客
12-15 1124
schema.xml作为Mycat中最重要的配置文件之一，涵盖了Mycat的逻辑库、逻辑表、分片规则、分片节点即数据源的配置。主要包括一下三组标签schema标签datanode标签datahost标签。
基于Mycat的Mysql主从复制读写分离配置详解与示例
12-25
基于Mycat的Mysql主从复制读写分离配置详解与示例,DBA必看的
Mycat实现mysql主从读写分离的配置文件
01-18
这是Mycat实现mysql主从读写分离时用到的的配置文件。 内容包括：schema.xml和server.xml。 请根据实际情况替换里面的数据库地址、用户、密码。 相关操作教程：...
MyCAT实现读写分离,主从切换[实例精华]
01-19
mycat实现独写分离,首先需要mysql配置好主从复制 show slave status schema.xml定义了MyCAT逻辑和物理逻辑信息如果对schema.xml配置标签不了解,请看MyCAT安装及配置说明 示例配置一主一从结构是...
基于Mycat的MySQL主从读写分离配置详解与示例
03-17
### 基于Mycat的MySQL主从读写分离配置详解与示例 #### 一、概述 在高并发的互联网应用场景下，单一数据库往往难以承受大量的读写请求，因此，采用主从架构实现读写分离是提高系统稳定性和响应速度的有效方法之一...
MyCat2配置多主多从-读写分离-详细步骤
Chonglin
04-07 2864
参考mycat官网做的配置笔记
数据库中间MyCat最新硬核教程，主从复制，分库分表
10-20 780
如今随着互联网的发展，数据的量级也是成指数的增长，从 GB 到 TB 到 PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候 NoSQL 的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。但是，在有些场合 NoSQL 一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安全指标的。这个时候 NoSQL 肯定是无法满足的，所以还是需要使用关系性数据库。
mycat2搭建双主双从mysql集群
哆啦A梦丶幻想的博客
08-27 2319
mycat2+mysq双主双从
Mycat原理详解，Mycat 实现 MySQL 的读写分离（Mysql主从复制）
qq_43555873的博客
11-06 1608
利用 Mycat 实现 MySQL 的读写分离，mysql主从复制
mysql主从同步+mycat2读写分离
qq_37190071的博客
11-10 920
mysql主从同步+mycat2读写分离
MySQL 集群 —— Mycat 读写分离、双主双从
Dgervuyid153的博客
05-13 284
1.4.2 编辑schema.xml1.4.3 jdk 只需解压运行解压完毕后运行：jdk 名称 -version 即可1.5 需要根据配置在双主库上创建授权账号并创建binlog 的存放地址,及进行授权,然后创建需要授权的数据库，需要与schema.xml配置上的名称一致重启 mycat 即可实现读写分离。
使用MyCat 进行搭建 主从同步以及读写分离
m0_73093747的博客
10-23 1088
使用MyCat实现主从复制与读写分离
mycat一主双从
m0_59250127的博客
07-24 192
在里面添加 "targetName":"prototype",修改conf/schemas/db1.schema.json。重启这三个的docker进程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值