docker搭建MySQL集群

最新推荐文章于 2024-07-04 23:36:05 发布
最新推荐文章于 2024-07-04 23:36:05 发布
阅读量3.4k 收藏 25
点赞数 2
分类专栏： 笔记 文章标签： 中间件 数据库 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45562491/article/details/115335200
版权

一、读写分离架构

其中一个是主库，负责写入数据，称之为：写库；
其它都是从库，负责读取数据，称之为：读库；

  1. 读库和写库的数据一致；
  2. 写数据必须写到写库；
  3. 读数据必须到读库；

在这里插入图片描述

上面的架构，可以看出，应用程序会连接到多个节点，使得应用程序的复杂度会提升，可以通过中间件方式解决

二、中间件

在这里插入图片描述

  • 应用程序只需要连接到中间件即可，无需连接多个数据库节点应用程序无需区分读写操作，对中间件直接进行读写操作即可
  • 在中间件中进行区分读写操作，读发送到从节点，写发送到主节点该架构也存在问题，中间件的性能成为了系统的瓶颈，那么架构可以改造成这样：
    在这里插入图片描述
  • 这样的话，中间件的可靠性得到了保证，但是也带来了新的问题，应用系统依然是需要连接到2个中间件，又为应用系统带来了复杂度。

2.1、负载均衡

  • 为了解决以上问题，继续优化架构，在应用程序和中间件之间增加proxy代理，由代理来完成负载均衡的功能，应用程序只需要对接到proxy即可。
    在这里插入图片描述

2.2、PXC集群架构

  • 前面的架构中，都是基于MySQL主从的架构，那么在主从架构中，弱一致性问题依然没有解决，如果在需要强一致性的需求中，显然这种架构是不能应对的，比如：交易数据。
  • PXC提供了读写强一致性的功能，可以保证数据在任何一个节点写入的同时可以同步到其它节点，也就意味着可以存其它的任何节点进行读取操作，无延迟。
    在这里插入图片描述

2.3、混合架构

  • PXC架构中，虽然可以实现了事务的强一致性，但是它是通过牺牲了性能换来的一致性，如果在某些业务场景下，如果没有强一致性的需求，那么使用PXC就不合适了。所以，在我们的系统架构中，需要将这两种方式综合起来，这样才是一个较为完善的架构。
    在这里插入图片描述

三、搭建主从复制架构

使用的MySQL percona版本，并且通过docker进行搭建服务。

3.1、主从复制原理

在这里插入图片描述

  • mysql主(称master)从(称slave)复制的原理： master将数据改变记录到二进制日志(binary log)中,也即是配置文件log-bin指定的文件(这些记录叫做二进制日志事件，binary log events)
  • slave将master的binary log events拷贝到它的中继日志(relay log)
  • slave重做中继日志中的事件,将改变反映它自己的数据(相当于执行一遍更新的sql语句)
    主从配置需要注意的地方
  • 主DB server和从DB server数据库的版本一致主DB server和从DB server数据库数据一致
  • 主DB server开启二进制日志,主DB server和从DB server的server_id都必须唯一。

3.2、搭建主库

创建目录
mkdir /root/data/mysql/master01

切换目录
cd /root/data/mysql/master01

创建文件夹
mkdir conf data

给文件夹授权
chmod 777 * -R
在这里插入图片描述
创建配置文件
cd /root/data/mysql/master01/conf
vim my.cnf

输入如下内容
[mysqld]
log-bin=mysql-bin #开启二进制日志
server-id=1 #服务id，不可重复
在这里插入图片描述
创建容器
docker create --name master01 -v /root/data/mysql/master01/data:/var/lib/mysql -v /root/data/mysql/master01/conf:/etc/my.cnf.d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=root percona

启动
docker start master01 && docker logs -f master01

在这里插入图片描述

创建同步账户以及授权

create user 'huan'@'%' identified by 'huan';
grant replication slave on *.* to 'huan'@'%';
flush privileges;

在这里插入图片描述

#查看master状态
show master status;
#查看二进制日志相关的配置项
show global variables like 'binlog%';
#查看server相关的配置项
show global variables like 'server%';

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.3、搭建从库

创建目录
mkdir /root/data/mysql/slave01
cd /root/data/mysql/slave01
mkdir conf data
chmod 777 * -R

创建配置文件
cd /root/data/mysql/slave01/conf
vim my.cnf

输入如下内容
[mysqld]
server-id=2 #服务id，不可重复

#创建容器
docker create --name slave01 -v /root/data/mysql/slave01/data:/var/lib/mysql -v /root/data/mysql/slave01/conf:/etc/my.cnf.d -p 3307:3306 -e MYSQL_ROOT_PASSWORD=root percona

启动
docker start slave01 && docker logs -f slave01
在这里插入图片描述
设置master相关信息
CHANGE MASTER TO
master_host='123.60.31.104',
master_user='huan',
master_password='huan',
master_port=3306,
master_log_file='mysql-bin.000003',
master_log_pos=739;

启动同步
start slave;

查看master状态
show slave status;

当看到两个大Yes就成功啦
在这里插入图片描述

3.4、主从复制模式

在这里插入图片描述

  • 在查看二进制日志相关参数内容中，会发现默认的模式为ROW，其实在MySQL中提供了有3种模式，基于SQL语句的复制(statement-based replication, SBR)，基于行的复制(row-based replication,RBR)，混合模式复制(mixedbased replication,MBR)。
  • 对应的，binlog的格式也有三种：STATEMENT，ROW，MIXED。
    STATEMENT模式（SBR）
    每一条会修改数据的sql语句会记录到binlog中。
    a. 优点是并不需要记录每一条sql语句和每一行的数据变化，减少了binlog日志量，节约IO，提高性能。
    b. 缺点是在某些情况下会导致master-slave中的数据不一致(如sleep()函数，
    last_insert_id()，以及user-defined functions(udf)等会出现问题)
    ROW模式（RBR）
    不记录每条sql语句的上下文信息，仅需记录哪条数据被修改了，修改成什么样了。而且不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。缺点是会产生大量的日志，尤其是altertable的时候会让日志暴涨。
    MIXED模式（MBR）
    以上两种模式的混合使用，一般的复制使用STATEMENT模式保存binlog对于STATEMENT模式无法复制的操作使用ROW模式保存binlog，MySQL会根据执行的SQL语句选择日志保存方式。 建议使用MIXED模式。
#修改主库的配置
binlog_format=MIXED

#重启
docker restart master01 && docker logs -f master01

#查看二进制日志相关的配置项
show global variables like 'binlog%';

在这里插入图片描述

四、MyCat中间件

  • 一个彻底开源的，面向企业应用开发的大数据库集群支持事务、ACID、可以替代MySQL的加强版数据库
  • 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
  • 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
  • 一个新颖的数据库中间件产品
  • 支持SQL92标准
  • 支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法
  • 遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。
  • 基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。
  • 支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster
  • 基于Nio实现，有效管理线程，解决高并发问题。
  • 支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。
  • 支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。
  • 支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。
  • 支持多租户方案。
  • 支持分布式事务（弱xa）。
  • 支持XA分布式事务（1.6.5）。
  • 支持全局序列号，解决分布式下的主键生成问题。
  • 分片规则丰富，插件化开发，易于扩展。
  • 强大的web，命令行监控。
  • 支持前端作为MySQL通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。
  • 支持密码加密
  • 支持服务降级
  • 支持IP白名单
  • 支持SQL黑名单、sql注入攻击拦截
  • 支持prepare预编译指令（1.6）
  • 支持非堆内存(Direct Memory)聚合计算（1.6）
  • 支持PostgreSQL的native协议（1.6）
  • 支持mysql和oracle存储过程，out参数、多结果集返回（1.6）
  • 支持zookeeper协调主从切换、zk序列、配置zk化（1.6）
  • 支持库内分表（1.6）
  • 集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。

4.1、docker安装Mycat

新建目录
mkdir /root/data/mycat

切换目录
cd /root/data/mycat

下载mycat release1.6.7.6到当前目录
wget http://dl.mycat.org.cn/1.6.7.6/20201126013625/Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz

改名
mv Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz mycat1.6.7.6.tar.gz

解压conf目录到当前目录，因为使用docker直接挂载conf目录会报错，mycat启动时需要依赖conf目录中的文件。
tar -zxvf mycat1.6.7.6.tar.gz -C /root/data/mycat/conf

修改conf配置文件
server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
	<system>
		<property name="nonePasswordLogin">0</property>
		<property name="useHandshakeV10">1</property>
		<property name="useSqlStat">0</property>
		<property name="useGlobleTableCheck">0</property>
		<property name="sequnceHandlerType">2</property>
		<property name="subqueryRelationshipCheck">false</property>
		<property name="processorBufferPoolType">0</property>
		<property name="handleDistributedTransactions">0</property>
		<property name="useOffHeapForMerge">1</property>
		<property name="memoryPageSize">64k</property>
		<property name="spillsFileBufferSize">1k</property>
		<property name="useStreamOutput">0</property>
		<property name="systemReserveMemorySize">384m</property>
		<property name="useZKSwitch">false</property>
	</system>
	<!--这里是设置的huan用户和虚拟逻辑库-->
	<user name="huan" defaultAccount="true">
		<property name="password">huan</property>
		<!--虚拟逻辑库的数据库名-->
		<property name="schemas">huan</property>
	</user>
</mycat:server>

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<!--配置数据表-->
	<schema name="huan" checkSQLschema="false" sqlMaxLimit="100">
		<table name="t_blog" dataNode="dn1" rule="mod-long" />
	</schema>
	<!--配置分片关系-->
	<dataNode name="dn1" dataHost="cluster1" database="huan" />
	<!--配置连接信息-->
	<dataHost name="cluster1" maxCon="1000" minCon="10" balance="3"
	writeType="1" dbType="mysql" dbDriver="native" switchType="1"
	slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="W1" url="123.60.31.104:3306" user="root" password="root">
			<readHost host="W1R1" url="123.60.31.104:3307" user="root" password="root" />
		</writeHost>
	</dataHost>
</mycat:schema>

balance属性说明：
负载均衡类型，目前的取值有3 种：

  1. balance=“0”, 不开启读写分离机制，所有读操作都发送到当前可用的writeHost 上。
  2. balance=“1”，全部的readHost 与stand by writeHost 参与select 语句的负载均衡，简单的说，当双 主
    双从模式(M1->S1，M2->S2，并且M1 与M2 互为主备)，正常情况下，M2,S1,S2 都参与select 语句的负
    载均衡。
  3. balance=“2”，所有读操作都随机的在writeHost、readhost 上分发。
  4. balance=“3”，所有读请求随机的分发到wiriterHost 对应的readhost 执行，writerHost 不负担读压 力，
    注意balance=3 只在1.4 及其以后版本有，1.3 没有。

创建Dockerfile文件，输入以下内容

FROM openjdk:8-jdk-stretch

ADD http://dl.mycat.org.cn/1.6.7.6/20201126013625/Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz /usr/local
RUN cd /usr/local && tar -zxvf Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz && ls -lna

ENV MYCAT_HOME=/usr/local/mycat
WORKDIR /usr/local/mycat

ENV TZ Asia/Shanghai

EXPOSE 8066 9066

CMD ["/usr/local/mycat/bin/mycat", "console","&"]

rule.xml

<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
     <!-- how many data nodes -->
     <property name="count">1</property>
</function>

创建镜像文件
docker build -t mycat:1.6.7.6 .
运行容器并挂载配置文件目录与日志目录
docker run --privileged=true -p 8066:8066 -p 9066:9066 --name mycat -v /root/data/mycat/conf:/usr/local/mycat/conf -v /root/data/mycat/logs:/usr/local/mycat/logs -d mycat:1.6.7.6

#-v /root/data/mycat/conf:/usr/local/mycat/conf 挂载配置文件目录
#-v /root/data/mycat/logs:/usr/local/mycat/logs 挂载日志目录# --network=adnc_net --ip 172.20.0.16 adnc_net是自建的bridge网络，如果使用docker默认网络，不需要这段
在这里插入图片描述

在这里插入图片描述

4.2、mycat集群

在这里插入图片描述

五、haprozy负载均衡

在这里插入图片描述

5.1、docker部署haproxy

拉取镜像
docker pull haproxy:1.9.3

创建目录，用于存放配置文件
mkdir /root/data/haproxy

创建容器
docker create --name haproxy --net host -v /root/data/haproxy:/usr/local/etc/haproxy haproxy:1.9.3

编写配置文件
vim /root/data/haproxy/haproxy.cfg

global
        log             127.0.0.1 local2
        maxconn         4000
        daemon
defaults
        mode                    http
        log                     global
        option                  httplog
        option                  dontlognull
        option http-server-close
        option forwardfor       except 127.0.0.0/8
        option                  redispatch
        retries                 3
        timeout http-request    10s
        timeout queue           1m
        timeout connect         10s
        timeout client          1m
        timeout server          1m
        timeout http-keep-alive 10s
        timeout check           10s
        maxconn                 3000

listen  admin_stats
        bind    0.0.0.0:4001
        mode    http
        stats   uri     /dbs
        stats   realm   Global\ statistics
        stats   auth    admin:admin123

listen  proxy-mysql
        bind    0.0.0.0:4002
        mode    tcp
        balance roundrobin
        option  tcplog
        server  mycat_1 123.60.12.197:8066 check port 8066 maxconn 2000
        server  mycat_2 123.60.31.104:8066 check port 8066 maxconn 2000

启动容器
docker restart haproxy && docker logs -f haproxy
在这里插入图片描述
浏览器访问 http://123.60.31.104:4001/dbs
在这里插入图片描述

袖手天下-
关注
  • 2
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Docker 部署 MySQL 集群服务
lilei的博客
05-16 766
一、什么是集群 计算机集群（computer cluster）是一组松散或紧密连接在一起工作的计算机。由于这些计算机协同工作，在许多方面它们可以被视为单个系统。与网格计算机不同，计算机集群将每个节点设置为执行相同的任务，由软件控制和调度。 集群的组件通常通过快速局域网相互连接，每个节点（用作服务器的计算机）运行自己的服务实例。在大多数情况下，所有节点使用相同的硬件和相同的操作系统，尽管在某些设置中...
docker 搭建Mysql集群的方法示例
09-09
主要介绍了docker 搭建Mysql集群的方法示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
使用Docker建立Mysql集群
03-24
使用Docker建立Mysql集群使用Docker建立Mysql集群使用Docker建立Mysql集群使用Docker建立Mysql集群
docker集群部署主从mysql
最新发布
salonzhou的专栏
07-04 653
说明部署成功了，先暂停这个容器：docker stop mysql_1。说明部署成功了，先暂停这个容器：docker stop mysql_2。说明部署成功了，先暂停这个容器：docker stop mysql_3。重新启动mysql_1容器：docker start mysql_1。重新启动mysql_2容器：docker start mysql_2。重新启动mysql_3容器：docker start mysql_3。接着在/root/mysql_1/config/下创建my.cnf。
使用docker搭建mysql集群
水痕
06-30 2948
4、在任何一个数据库中创建一个一个数据库和数据表，查看别的是否同步。5、停止当前的容器，添加配置文件,然后上传到服务器。的查询中执行以下语句,注意这个地方是要关联到。节点,，添加配置文件,然后上传到服务器。连接远程数据库，创建一个用户。2、查看容器是否启动成功。中执行以下语句，查看状态。4、给当前用户分配权限。1、使用镜像创建容器。2、查看是否创建成功。
docker部署mysql集群
keyboard_man的博客
07-08 192
docker 部署 mysql pxc集群
docker部署mysql一主两从集群
04-19
docker部署mysql一主两从集群
基于Docker Compose构建的MySQL MHA集群.zip
11-07
MySQL MHA（MySQL High Availability）是一个用于管理高可用性MySQL集群的解决方案。它通过监控、故障检测以及自动故障切换，能够在主节点出现故障时，将从节点提升为主节点，确保服务不间断。MHA由一系列的Python...
mysql集群 docker_Docker搭建MySQL集群
weixin_35286137的博客
01-28 218
目标搭建一个5个数据库的集群、数据实时同步1. 安装镜像1.1 安装地址https://hub.docker.com/r/percona/percona-xtradb-cluster1.2 Docker 拉取镜像[root@localhost ~]# docker pull percona/percona-xtradb-cluster2.创建Docker 网络2.1 Docker网段命令#创建网段...
Docker搭建Mysql集群
热门推荐
King config
03-16 1万+
文章目录前言搭建主服务器搭建从服务器slave1服务器slave2服务器查询状态 前言 准备镜像 [root@localhost ~]# docker pull mysql:5.7 [root@localhost ~]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE mysql 5.7 f8fcde8b9ae2 3 days ago 449MB 搭建主服务器 运行主容器 d
Docker部署Mysql集群的实现
01-09
单节点数据库的弊病 大型互联网程序用户群体庞大,所以架构必须要特殊设计 单节点的数据库无法满足性能上的要求 单节点的数据库没有冗余设计,无法满足高可用 单节点MySQL的性能瓶领颈 2016年春节微信红包巨大业务量,数据库承受巨大负载 常见MySQL集群方案 　　mysql 集群方案介绍，建议使用pxc，因为弱一致性会有问题，比如说a节点数据库显示我购买成功，b 节点数据库显示没有成功，这就麻烦了，pxc 方案是在全部节点都写入成功之后才会告诉你成功，是可读可写双向同步的，但是replication是单向的，不同节点的数据库之间都会开放端口进行通讯，如果从防火墙的这个端口关闭，p
MYSQL——docker中构建Mysql集群
庄小焱
05-06 1105
在docker下的tomcat容器中部署war包的两种方式: 方法一：和我们部署java的不普通的项目部署到Tomcat下webapps目录下 方法二：进入Docker容器的文件目录，通过tomcat-users.xml配置tomcat管理员 方法一：和我们部署java的不普通的项目部署到Tomcat下webapps目录下 在tomcat镜像中部署javaweb项目 ,打包javaweb...
Docker机搭建mysql集群
梁海江的博客
06-24 4058
1、准备工作1.1 Docker虚拟机。本实例采用Win10安装的虚拟机.安装方法请参见https://blog.csdn.net/oyinhezhiguang/article/details/805505341.2 Linux连接终端。本实例采用xshell。1.3 mysql客户端。本实例采用Navicat for MySQL。2、开始搭建2.1进入Docker虚拟机。以Win10安装的虚拟机...
Docker 容器搭建mysql 集群（主从数据库）
个人的成功可能没什么，帮他人成功可能更有成就感
11-17 2488
Docker 容器搭建mysql 集群（主从数据库）
docker搭建mysql集群
Other_Shore的博客
07-07 299
要求：一台装有centos7.6以上的服务器，docker安装完毕 该方法是基于dockers搭建的mysql的主从集群，一主一从 拉取mysql的镜像 docker pull mysql:8.0.25 启动容器，以该镜像启动2个容器 1.主库的容器 docker run -p 3307:3306 --name mysql-master -e MYSQL_ROOT_PASSWORD=123456 -d mysql:8.0.25 2.从库的容器 docker run -p 3308:3306 --name
docker安装MySQL集群（一主一从）
生夏夏的博客
07-27 361
docker搭建一主一从集群
docker安装mysql集群
weixin_48278672的博客
05-03 4105
docker安装mysql集群
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值