使用 Docker Compose 搭建 MySQL 数据库主从复制实例

最新推荐文章于 2024-05-14 15:42:25 发布
最新推荐文章于 2024-05-14 15:42:25 发布
阅读量155 收藏
点赞数
文章标签： 数据库 运维 awk
原文链接：https://juejin.im/post/5a2e4bd66fb9a044fa19cfb7
版权

说明

由于是单机同时运行主从实例，仅用于开发环境或学习主从复制配置。

项目地址 github.com/TomCzHen/my…

文件结构

├── docker-compose.yaml
├── env
│   ├── base.env
│   ├── master.env
│   └── node.env
├── .env
├── init-db-sql
│   ├── init-master.sh
│   ├── init-node.sh
│   ├── sakila-data.sql
│   └── sakila-schema.sql
└── README.md
复制代码

env

根目录下的 .env 文件作用域是在 docker-compose.yaml 中，而 env 路径下的文件作用与容器内部环境变量，两者作用不同。

  • .env
TAG=5.7.20

MASTER_SERVER_ID=1
NODE_1_SERVER_ID=10
NODE_2_SERVER_ID=20

MASTER_MYSQL_ROOT_PASSWORD=master_root_pwd
NODE_MYSQL_ROOT_PASSWORD=node_root_pwd
复制代码

docker-compose.yaml

version: "3.3"

services:
  
  mysql-master: &mysql
    image: mysql:${TAG}
    container_name: mysql-master
    restart: unless-stopped
    env_file:
      - env/base.env
      - env/master.env
    environment:
      - MYSQL_ROOT_PASSWORD=${MASTER_MYSQL_ROOT_PASSWORD}
    ports:
      - "3306:3306"
    expose:
      - "3306"
    volumes:
      - mysql-master-data:/var/lib/mysql
      - ./init-db-sql/sakila-schema.sql:/docker-entrypoint-initdb.d/1-schema.sql
      - ./init-db-sql/sakila-data.sql:/docker-entrypoint-initdb.d/2-data.sql
      - ./init-db-sql/init-master.sh:/docker-entrypoint-initdb.d/3-init-master.sh
    command: [
      "--log-bin=mysql-bin",
      "--server-id=${MASTER_SERVER_ID}",
      "--character-set-server=utf8mb4",
      "--collation-server=utf8mb4_unicode_ci",
      "--innodb_flush_log_at_trx_commit=1",
      "--sync_binlog=1"
      ]

  mysql-node-1: &mysql-node
    <<: *mysql
    container_name: mysql-node-1
    env_file:
      - env/base.env
      - env/node.env
    environment:
      - MYSQL_ROOT_PASSWORD=${NODE_MYSQL_ROOT_PASSWORD}
      - MASTER_MYSQL_ROOT_PASSWORD=${MASTER_MYSQL_ROOT_PASSWORD}
    ports:
      - "3307:3306"
    depends_on:
      - mysql-master
    volumes:
      - mysql-node-1-data:/var/lib/mysql
      - ./init-db-sql/sakila-schema.sql:/docker-entrypoint-initdb.d/1-schema.sql
      - ./init-db-sql/sakila-data.sql:/docker-entrypoint-initdb.d/2-data.sql
      - ./init-db-sql/init-node.sh:/docker-entrypoint-initdb.d/3-init-node.sh
    command: [
      "--server-id=${NODE_1_SERVER_ID}",
      "--character-set-server=utf8mb4",
      "--collation-server=utf8mb4_unicode_ci",
      ]
  
  mysql-node-2:
    <<: *mysql-node
    container_name: mysql-node-2
    ports:
      - "3308:3306"
    volumes: 
      - mysql-node-2-data:/var/lib/mysql
      - ./init-db-sql/sakila-schema.sql:/docker-entrypoint-initdb.d/1-schema.sql
      - ./init-db-sql/sakila-data.sql:/docker-entrypoint-initdb.d/2-data.sql
      - ./init-db-sql/init-node.sh:/docker-entrypoint-initdb.d/3-init-node.sh
    command: [
      "--server-id=${NODE_2_SERVER_ID}",
      "--character-set-server=utf8mb4",
      "--collation-server=utf8mb4_unicode_ci",
      ]
    

volumes:
  mysql-master-data:
  mysql-node-1-data:
  mysql-node-2-data:
复制代码

由于使用了 YAML 的引用语法，可以通过 docker-compose config 查看完整的内容。这里配置了一个主库，两个从库，可以根据需求改变从库数量。

初始化实例
    ...
    volumes:
      - mysql-master-data:/var/lib/mysql
      - ./init-db-sql/sakila-schema.sql:/docker-entrypoint-initdb.d/1-schema.sql
      - ./init-db-sql/sakila-data.sql:/docker-entrypoint-initdb.d/2-data.sql
      - ./init-db-sql/init-master.sh:/docker-entrypoint-initdb.d/3-init-master.sh
    ...
复制代码

基础镜像会在初始化(仅首次运行)时按文件名顺序执行 /docker-entrypoint-initdb.d 下的 .sql .sh 等文件，详细信息可以查看镜像说明页面：

hub.docker.com/_/mysql/

Initializing a fresh instance

When a container is started for the first time, a new database with the specified name will be created and initialized with the provided configuration variables. Furthermore, it will execute files with extensions .sh, .sql and .sql.gz that are found in /docker-entrypoint-initdb.d. Files will be executed in alphabetical order. You can easily populate your mysql services by mounting a SQL dump into that directory and provide custom images with contributed data. SQL files will be imported by default to the database specified by the MYSQL_DATABASE variable.

注：sakila 是 MySQL 的官方示例数据库 dev.mysql.com/doc/sakila/…

配置实例参数
    ...
    command: [
      "--log-bin=mysql-bin",
      "--server-id=${MASTER_SERVER_ID}",
      "--character-set-server=utf8mb4",
      "--collation-server=utf8mb4_unicode_ci",
      "--innodb_flush_log_at_trx_commit=1",
      "--sync_binlog=1"
      ]
    ...
复制代码

使用执行参数可以不依靠 my.cnf 对实例进行配置，详细资料可以查看镜像说明页面：

hub.docker.com/_/mysql/

Configuration without a cnf file Many configuration options can be passed as flags to mysqld. This will give you the flexibility to customize the container without needing a cnf file. For example, if you want to change the default encoding and collation for all tables to use UTF-8 (utf8mb4) just run the following:

$ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
复制代码

If you would like to see a complete list of available options, just run:

$ docker run -it --rm mysql:tag --verbose --help
复制代码
主从配置
init-master.sh
#!/bin/bash

set -e

# create replication user

mysql_net=$(ip route | awk '$1=="default" {print $3}' | sed "s/\.[0-9]\+$/.%/g")

MYSQL_PWD=${MYSQL_ROOT_PASSWORD} mysql -u root \
-e "CREATE USER '${MYSQL_REPLICATION_USER}'@'${mysql_net}' IDENTIFIED BY '${MYSQL_REPLICATION_PASSWORD}'; \
GRANT REPLICATION SLAVE ON *.* TO '${MYSQL_REPLICATION_USER}'@'${mysql_net}';"
复制代码

在主库中添加用于复制的帐号，由于镜像默认开启 --skip-name-resolve 参数，因此只能通过 IP 配置权限。

注：脚本中是获取容器默认网关网段后添加用户，不适用于生产环境。

init-node.sh
#!/bin/bash

# check mysql master run status

set -e

until MYSQL_PWD=${MASTER_MYSQL_ROOT_PASSWORD} mysql -u root -h mysql-master ; do
  >&2 echo "MySQL master is unavailable - sleeping"
  sleep 3
done

# create replication user

mysql_net=$(ip route | awk '$1=="default" {print $3}' | sed "s/\.[0-9]\+$/.%/g")

MYSQL_PWD=${MYSQL_ROOT_PASSWORD} mysql -u root \
-e "CREATE USER '${MYSQL_REPLICATION_USER}'@'${mysql_net}' IDENTIFIED BY '${MYSQL_REPLICATION_PASSWORD}'; \
GRANT REPLICATION SLAVE ON *.* TO '${MYSQL_REPLICATION_USER}'@'${mysql_net}';"

# get master log File & Position

master_status_info=$(MYSQL_PWD=${MASTER_MYSQL_ROOT_PASSWORD} mysql -u root -h mysql-master -e "show master status\G")

LOG_FILE=$(echo "${master_status_info}" | awk 'NR!=1 && $1=="File:" {print $2}')
LOG_POS=$(echo "${master_status_info}" | awk 'NR!=1 && $1=="Position:" {print $2}')

# set node master

MYSQL_PWD=${MYSQL_ROOT_PASSWORD} mysql -u root \
-e "CHANGE MASTER TO MASTER_HOST='mysql-master', \
MASTER_USER='${MYSQL_REPLICATION_USER}', \
MASTER_PASSWORD='${MYSQL_REPLICATION_PASSWORD}', \
MASTER_LOG_FILE='${LOG_FILE}', \
MASTER_LOG_POS=${LOG_POS};"

# start slave and show slave status

MYSQL_PWD=${MYSQL_ROOT_PASSWORD} mysql -u root -e "START SLAVE;show slave status\G"
复制代码

配置从库时会先等待主库就绪，并在从库连接到主库获取必要的参数值进行从库初始化并开启从库复制状态。

使用说明

根据需要调整变量值与脚本，修改 docker-compose.yaml 中各个实例暴露的端口，在项目目录下执行 docker-compose up -d 部署编排。

使用 docker-compose logs mysql-master 可以查看对应容器输出日志。

使用 docker exec -ti mysql-master bash 可进入对应容器控制台环境。

其他

GTIDs 模式需要调整脚本与编排文件中的执行参数。如果想使用容器来为已有实例添加从库，需要修改 init-node.sh 将 File 与 Position 作为环境变量传入应该更合适。

转载于:https://juejin.im/post/5a2e4bd66fb9a044fa19cfb7

weixin_34375251
关注
使用Docker-Compose部署MySQL一主二从同步高可用MHA集群
Java程序员廖志伟
01-05 1958
使用Docker-Compose部署MySQL一主二从同步高可用MHA集群，图文视频结合。
使用docker搭建一主多从MySQL主从服务集群
最新发布
ithongchou的博客
08-10 167
进入mysql目录，执行启动命令启动docker容器。上添加数据库、表以及数据看从节点是否同步。
Docker-Compose实现Mysql主从
weixin_53641036的博客
09-27 1390
通过使用搭建一个主从数据库，本示例为了解耦 将两个server拆分到了两个compose文件中，当然也可以放到一个compose文件中演示mysql版本：5.7.16。
【Docker-compose Mysql 主从】
qq_39127761的博客
07-27 575
在master主节点上创建a_master_test表，刷新slave节点从库，出现了对应的表。2）拷贝mysql-temp容器中的配置文件到宿主机。2）拷贝mysql-temp容器中的配置文件到宿主机。3）重命名配置文件my.cnf.fallback。3）重命名配置文件my.cnf.fallback。3.拷贝容器内的配置文件到宿主机。5.启动mysql-master。3.拷贝容器内的配置文件到宿主机。5.启动mysql-master。1）启动一个mysql临时容器。1）启动一个mysql临时容器。....
docker 环境下创建mysql主从复制集群
chinale_wenhua的博客
08-11 649
1、下载docker镜像：docker pull hub.c.163.com/library/mysql:5.6 2、配置mater节点cnf文件： 3、启动master节点 docker run --name mysql-master -v /usr/local/src/master:/etc/mysql/conf.d \ -p 3307:3306 -e MYSQL_ROOT_P...
使用docker-compose搭建MySQL主从
king_66的专栏
05-14 1340
MASTER_LOG_FILE='mysql-bin.000004', -- 监听主节点的bin-log文件。--监听主节点bin-log文件的起始位置。>MASTER_PASSWORD='123456', --连接主节点的副本账户密码。>MASTER_HOST='172.21.0.2', -- 配置主节点的IP。>MASTER_USER='repl', -- 连接主节点的副本账户。查看启动日志：docker-compose logs -f。，网桥名称：my-bridge。2）容器之间是否互相通讯 （
docker-compose搭建mysql主从环境
李虹柏的博客
04-12 2171
原作者: 不愿署名的沈大佬 ## 1. 目录结构 ``` mysql_sync/ - docker-compose.yml - master/ - Dockerfile - my.cnf - slave/ - Dockerfile - my.cnf ``` ## 2. 配置文件 my.cnf - `master/my.cnf` ``` [mysqld] # 主数据库端ID号 server_id = 101 # 开启二进制日志...
docker mysql 8.0.32 主从搭建
yanghui555的专栏
03-11 411
复制的基本原则：1.每个Master可以有多个Slave2.每个Slave只有一个Master3.每个节点server_id唯一主从复制的注意事项：1.同步之前必须保证主从节点具有相同的数据库和相同的表，以及相同的初始数据。2.写操作必须保证只在主节点进行，如果对从节点修改数据是很危险的操作，将会导致错误而停止同步。3.从节点适合只读操作4.主从之间数据同步不是实时的，存在某一时刻数据不一致的情况。5.主从之间的数据同步是单向异步复制。从节点复制主节点数据。
Docker快速搭建MySQL主从复制环境
"本文旨在详述如何利用Docker搭建MySQL的主从复制环境，主要涉及docker-compose和dockerfile的使用，以及MySQL主从同步的基本原理和配置步骤。" 在现代的云原生环境中，Docker成为快速部署和管理应用的首选工具。...
使用Docker构建MySQL的主从复制实例
UtoBug的博客
09-19 18
您可以根据需要扩展从数据库的数量，实现更高的性能和负载均衡。在本篇文章中，我们将介绍如何使用Docker来搭建MySQL数据库，并配置主从复制实例。主从复制是一种常用的数据库架构，它允许将数据从一个主数据库复制到一个或多个从数据库，以提高数据的可用性和可扩展性。注意：在实际生产环境中，可能需要进行更多的配置和安全性措施，例如使用SSL加密连接、设置防火墙规则等。您可以在主数据库中创建一些数据，并验证数据是否在从数据库中复制成功。服务也使用相同的MySQL镜像，并设置了与主服务连接所需的环境变量。
docker-compose搭建mysql主从环境.md
06-07
docker-compose搭建mysql主从环境.md
joeywang310#mysql-master-slave#Mysql主从复制集群搭建-基于DockerCompose1
07-25
如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致slave mysql容器配置配置Dockerfile设置server_id，一般设置为
详解Docker方式实现MySql 主从复制（实践篇）
01-10
本文实践了用Docker方式来实现基于binlog的MySql主从复制。关于MySql主从复制的原理将在下一篇中进行讲解。 一些数据的本地存储目录结构 mysql >tree -L 2 . ├── data │ ├── master01 │ └── slave01 ├── master01 │ └── master01.cnf └── slave01 └── slave01.cnf master01.cnf配置 [mysqld] log-bin=mysql-master01-bin # 使用binary logging，mysql-master01-bin是log文件名的前缀 s
docker-compose 实现mysql主从节点
qq_35916684的博客
11-15 964
docker-compose 实现mysql主从节点step1:step2step3step4 主节点操作step5 slave节点操作 step1: 首先docker-compose搭建三个mysql, 基础操作 services: mysql-master: image: mysql:5.7.18 networks: mysqlne...
docker-compose整合mysql主从(脚本一键生成)
Alex_Drag的博客
11-17 1466
docker-compose搭建mysql一主二从完成。
使用docker-compose搭建mysql主从复制
qq_42413011的博客
09-18 3302
写此博客，主要是简化mysql主从搭建，同时给需要学习mysql主从的同学一个现成的环境。
Docker Compose搭建mysql主从复制
怀揣梦想,永不止步.
12-29 7773
系统环境 docker 1.12.3 mysql5.7.17 deepin 15.3桌面版(这个没啥影响,因为我们用docker) 原文地址:Docker Compose搭建mysql主从复制 要点说明 使用docker bridge网络,设置静态IP 使用volumes挂载,不使用数据卷容器(因为我使用docker compose没搞成功 - -!) 镜像使用build创建(保留扩展性),不使用i
使用docker-compose快速实现mysql的主从复制
m0_73129504的博客
05-15 415
上述配置文件使用了镜像，并创建了两个服务master和slave。master服务将在本机的 3306 端口上运行，slave服务将在本机的 3307 端口上运行。你可以根据需要修改端口号和密码。此标志将 MySQL 服务器的服务器 ID 设置为 2。参与复制的每个服务器都应具有唯一的服务器 ID。此标志在服务器上启用二进制日志记录，这会在二进制日志文件中记录对数据库的更改。此标志指定只有对“gopan”数据库所做的更改才应包含在二进制日志中。此标志启用中继日志记录。
docker compose mysql主从复制及orchestrator高可用使用
kunlun122的专栏
04-30 1020
orchestrator 多级级联、主从切换、故障切换 turns to be too complex; please do it manually instance does not have log_slave_updates enabled errant gtid found hostname无法解析 mysql 主从复制搭建 orchestrator 搭建 docker compose mysql 高可用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值