在 Docker 中使用 mysql 的一些技巧

最新推荐文章于 2022-07-19 09:07:56 发布
最新推荐文章于 2022-07-19 09:07:56 发布
阅读量219 收藏
点赞数
文章标签： 数据库 运维 python
原文链接：http://www.cnblogs.com/bigben0123/p/8880940.html
版权

  • 启动到后台：  docker-compose start

  • docker-composer 执行命令： entrypoint: pwd
  app:
    build: ./app
    working_dir: /app
    volumes:
      - ./app:/app
      - ~/.m2:/root/.m2
    expose:
      - "8080"
    depends_on:
      - nginx
      - mysql
    entrypoint: pwd

 

 

今天我写一点在 Docker 容器中使用 MYSQL 的 tips.
要不要在生产环境使用 Docker 运行数据库这么深奥的问题，等我踩足够的坑再来写吧。
但是至少在开发和测试环境你可以用 docker 管理数据库啊。

Compose file

先贴一个我常用的 docker-compose 片段，后边进行详细的解释。这是日常使用的状态，此处省略了别的服务。

version: '2'
services:
    mysql:
        image: mysql:5.7.16 ports: - ${DB_PORT}:3306 environment: - TZ=Asia/Shanghai command: --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci volumes: - ./mysql_data:/var/lib/mysql restart: unless-stopped

版本

一定要锁定镜像到最小的版本，因为mysql镜像升级后需要你手动在容器中执行命令去 mysql-upgrade，否则很久之后，你才发现有的数据已经损坏了。
实在想升级，升级步骤如下：

  • 如果是用 docker run 启动的，那么停掉再启动个新的。如果是用 docker-compose 启动的，直接改版本号 pull 镜像重新 up。

  • 在新的版本启动后执行 docker exec -it 你的容器名称或id mysql-upgrade

端口

如果想在外部通过工具访问，需要将3306端口映射到host上的一个端口，不准备外部访问的环境则不必。
一般来说开发和测试环境还是经常需要登到数据库上查看的。

时区

添加环境变量 TZ 让mysql用你的默认时区启动。
这是因为 mysql 的基础镜像是 debian， 这个环境变量可以声明 debian 的时区，然后被 mysql 继承。

字符编码

mysql 的镜像默认编码是 latin1 这可不行，在中国我们一般都用 UTF8 。
一般我们要是在主机上配置 mysql 的话，是去修改配置文件。但使用容器时映射进去一个配置文件是很复杂的。
于是我们有个简单的办法，mysql 接受很多 flag 通过启动时传入。其中就有声明服务器默认编码的。
我们的 command 命令就是给 mysql 在启动时加了两个参数。

存储

容器中有需要持久化存储的内容时就会有点麻烦。一般有两种方案，一种是映射主机的一个目录，一种是利用数据卷。
在很长时间的使用中，我总结出了这个比较方便的办法。

  • 因为 docker-compose 有个潜规则就是大家一般都在有 compose 文件那个目录执行命令。

  • 于是我们做一个以环境名称命名的文件夹，里边是 compose 文件，.env 文件，和各种需要持久化的文件夹。

  • 在 compose 文件中，我们映射文件夹用相对目录。

  • 最后，这个文件夹就是一个整体，只需要把它拷贝在任何机器任何地方都可以启动这个环境。

初始化

mysql 容器在首次启动的时候，必须指定一个root密码才能启动，指定的方式是声明环境变量 MYSQL_ROOT_PASSWORD 。
一旦在指定的数据文件夹发现已经存在库的时候，这个参数就会被忽略掉。
所以我们只需要在第一次启动的时候加上，后面有了数据后都去掉就好了。

导入导出

在容器中运行的 mysql 该怎么导入导出数据或结构呢？照这么做吧：

# Backup
docker exec CONTAINER /usr/bin/mysqldump -u root --password=root DATABASE > backup.sql

# Restore
docker exec -i CONTAINER /usr/bin/mysql -u root --password=root DATABASE < backup.sql

就这么多吧，还有什么 Tips ，欢迎大家补充。

 

测试创建一个docker-compose.yml测试

以下配置了外部数据卷、外部配置文件、外部初始化文件（文件名必须以.sh或者.sql结尾）
这样配置之后，数据库本地直接连接得上去，而且使用的是你配置的账号密码。

version: '3'
services:
  db:
 image: 'mysql/mysql-server:5.7'  restart: always  container_name: mysql  volumes:  - data:/var/lib/mysql  - ./mysql/config/my.cnf:/etc/my.cnf  - ./mysql/init:/docker-entrypoint-initdb.d/  ports:  - '3306:3306' volumes:  data:  driver: local

/mysql/config/my.cnf

[mysqld]
user=mysql
default-storage-engine=INNODB
character-set-server=utf8
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8

/mysql/init/init.sql

CREATE USER 'luna'@'%' IDENTIFIED BY 'pwdluna'; GRANT All privileges ON *.* TO 'luna'@'%';



使用DockerCompose搭建MySQL高可用集群，并平滑迁移

96 
asiazhang2002 
 

!!!由于MySQL官方驱动还不支持Group Replication，因此当前只是服务端可用，客户端驱动还需要等待新版本。

本文描述如何使用Docker+DockerCompose来部署一个MySQL的高可用集群。

此集群由3个MySQL实例组成，一个Master节点，2个Secondary节点。Master可读写，Secondary可读。集群之间会自动同步数据。Master失效剩余的Secondary会自动选举Master。

  • 请准备三台Linux VM(Ubuntu14.04)，最好是异地的
  • 每台VM上请部署docker

由于公司内部网络隔离，很多地址需要从公司内镜像网站下载。请注意，某些配置步骤在可以直连外网的情况下并不需要。

配置Docker环境（每台VM）

  1. 在配置文件/etc/default/docker中DOCKER_OPTS选项添加--insecure-registry hub.witcloud.huawei.com，并重启docker服务

  2. 执行apt-get install python-pip

  3. 配置pip公司内网镜像

    在~/.pip/目录下增加pip.conf文件

然后编辑其内容为：

[global]
trusted-host=rnd-mirrors.huawei.com
index-url=http://rnd-mirrors.huawei.com/pypi/simple/

  4. 安装docker-compose

    pip install docker-compose

部署完成后就可以使用docker-compose来进行镜像的下载和容器的启动了。

使用Docker部署MySQL（每台VM）

首先我们要编写DockerCompose文件，用于配置MySQL镜像的启动。

mkdir /home/docker/mysql -p
vim /home/docker/mysql/docker-compose.yml

注意：因为数据库容量未来可能较大，因此最好将大容量磁盘挂载到/data目录。

version: '2'
services:
  mysql:
 network_mode: "host"  environment:  MYSQL_ROOT_PASSWORD: "blu3Spoon55"  image: hub.witcloud.huawei.com/it-ark/mysql  restart: unless-stopped  volumes:  - "/data/mysql/db:/var/lib/mysql"  - "/data/mysql/conf:/etc/mysql/conf.d"

MYSQL_ROOT_PASSWORD为管理员密码，请自己设置一个强密码。

配置Group Replication节点（每台VM）

需要注意的差异如下：

  1. server_id每台VM不同 
    节点1: 1
节点2: 2
节点3: 3
  2. loose-group_replication_local_address每台VM不同 
    节点1: 10.183.22.167:24901 节点2: 100.112.98.176:24901 节点3: 10.167.117.41:24901
  3. bind-address和report_host绑定为各VM的IP地址

我们使用配置文件来对集群进行配置：

mkdir /data/mysql/conf -p
vim /data/mysql/conf/ha.cnf

文件内容：

[mysqld]  
#Encoding
collation-server = utf8_unicode_ci
init-connect='SET NAMES utf8'
character-set-server = utf8

#Replication Framework  
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE
log_slave_updates=ON
log_bin=binlog
binlog_format=ROW

# Host specific replication configuration
server_id=1
bind-address="10.183.22.167" report_host="10.183.22.167" loose-group_replication_local_address ="10.183.22.167:24901" #Group Replication transaction_write_set_extraction=XXHASH64 loose-group_replication_group_name="9a261783-7436-4df7-be2c-97fc7b37eb85" loose-group_replication_start_on_boot=on loose-group_replication_group_seeds="10.183.22.167:24901,100.112.98.176:24901,10.167.117.41:24901" loose-group_replication_bootstrap_group=off loose-group_replication_ip_whitelist="10.183.22.167,100.112.98.176,10.167.117.41,127.0.0.1/8"

依次启动每个节点，进行数据库内部配置

  1. 启动节点数据库

    docker-compose up -d

  2. 使用数据库工具链接节点

  3. 仅针对节点2,3，第一个节点不用:清理Docker容器内部产生的binlog，从完全干净的状态进行集群同步

    RESET MASTER ;

  4. 创建group replication所需要的用户

    SET SQL_LOG_BIN =0;
CREATE USER rpl_user@'%' IDENTIFIED BY 'rpl_pass'; GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%'; FLUSH PRIVILEGES ; SET SQL_LOG_BIN =1; CHANGE MASTER TO MASTER_USER ='rpl_user', MASTER_PASSWORD ='rpl_pass' FOR CHANNEL 'group_replication_recovery';

  5. 安装组复制插件

    INSTALL PLUGIN group_replication SONAME 'group_replication.so';

    检查是否插件是否启用：

    mysql> SHOW PLUGINS;
+----------------------------+----------+--------------------+----------------------+-------------+
| Name                       | Status   | Type               | Library              | License     |
+----------------------------+----------+--------------------+----------------------+-------------+
| binlog | ACTIVE | STORAGE ENGINE | NULL | PROPRIETARY | (...) | group_replication | ACTIVE | GROUP REPLICATION | group_replication.so | PROPRIETARY | +----------------------------+----------+--------------------+----------------------+-------------+

  6. 启动group replication

    • 节点1： 
      SET GLOBAL group_replication_bootstrap_group=ON;
START GROUP_REPLICATION; SET GLOBAL group_replication_bootstrap_group=OFF;
    • 节点2/3 
      START GROUP_REPLICATION;

  7. 仅针对节点1: 增加一些测试数据，用于测试节点2和节点3是否同步了数据

    CREATE DATABASE test;
use test; CREATE TABLE t1 (c1 INT PRIMARY KEY, c2 TEXT NOT NULL); INSERT INTO t1 VALUES (1, 'mysql集群测试');

客户端使用

!!!由于MySQL官方驱动还不支持Group Replication，因此当前只是服务端可用，客户端驱动还需要等待新版本。

官方ConnectJ支持使用Replication，以支持MySQL Group Replication。

只需要在连接字符串中配置即可：

jdbc:mysql:loadbalance://100.112.98.176:3306,10.183.22.167:3306,10.167.117.41:3306

应用程序代码无需修改，驱动会自动判断可用的Master。

Master/Secondary异步延时

由于Master/Secondary之间的数据同步存在一定延时，可能导致先写入后读取的时候，读取不到数据。

举例说明：

  1. 线程A在Master 1上插入一条数据，id为6217614201566007296
  2. 线程A把此ID(6217614201566007296)给线程B
  3. 线程B在Secondary 1上通过此ID(6217614201566007296)读取数据
  4. 但是此时数据还未从Master1同步到Secondary 1
  5. 线程B读取数据为空

因此，在这种情况下，由于写入到读取之间可能存在延时，那么在写入之后的处理阶段（比如线程B），需要增加重试或者延时，来等待数据同步。
这也是分布式数据库最终一致性带来的问题。

参考资料：

  1. MySQL Group Replication官方文档
  2. 细细探究MySQL Group Replication — 配置维护故障处理全集
  3. 使用ConnectJ配置负载均衡
  4. 数据库分库分表（二）Twitter-Snowflake（64位分布式ID算法）分析与JAVA实现
 

转载于:https://www.cnblogs.com/bigben0123/p/8880940.html

bit小兵
关注
使用Docker-Compose部署MySQL一主二从同步高可用MHA集群
Java程序员廖志伟
01-05 1914
使用Docker-Compose部署MySQL一主二从同步高可用MHA集群，图文视频结合。
使用docker-compose部署MySQL三主六从半同步集群（MMM架构）
最新发布
Java程序员廖志伟
03-14 595
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
docker中关于mysql的基本操作
qq_42031483的博客
09-17 469
创建mysql容器 过于基本的操作请直接参考这篇博客：https://www.jianshu.com/p/a4e586a82426 拉： run： 进入： 前两步不讲，这一步要说明一下，进入的时候可以传参：docker exec -it mysql1 mysql -uroot -p这样的方式，可以直接进入到mysql中，而不是一般的用bash进入的方式。 修改mysql的配置文件 可以找到配...
Docker命令说明文档
weixin_30824599的博客
03-22 210
Docker说明文档 一、Docker中基本概念 镜像(Image) 镜像，从认识上简单的来说，就是面向对象中的类，相当于一个模板。从本质上来说，镜像相当于一个文件系统。Docker 镜像是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的一些配置参数（如匿名卷、环境变量、用户等）。镜像不包含任何动态数据，其内容在构建之后也不会被...
Docker安装mysql && mysql的操作及命令
m0_37606574的博客
04-04 1845
1.登录： mysql -uroot -p123456 查看用户库用户： select user,host from mysql.user; #需要root登录mysql才能查 2.创建用户： localhost（本地用户）：在mysql数据库登录 %（远程用户）：可以远程使用Navicat for MySQL等客户端登录 cre...
docker-monitor-mysql:Docker容器来保存MySQL应用程序
05-05
它为应用程序提供了一种方便的分发机制，旨在与组成应用程序监视模拟的其他Docker容器一起使用。 ＃先决条件 已安装并正常工作 已安装并正常工作 #Building执行./build.sh创建Docker映像。 它将与，并将应用程序...
Docker中配置MySQL+phpMyAdmin环境变量详解
根据官方文档（Dockermysql）指导，需要正确设置这些变量，如MYSQL_ROOT_PASSWORD，以确保数据库服务的正常访问。 3. **部署phpMyAdmin容器**： - 配置phpMyAdmin容器并与MySQL容器进行连接。这一步骤涉及到将...
Docker常用命令与小技巧汇总
01-20
安装脚本 Ubuntu / Centos Debian的安装貌似有问题， 需要解决安装源的问题...Centos在运行完成之后， 还需要手动的 sudo systemctl start docker.service 否则会提示docker没有启动之类的错误 日志相关 Grep String
docker容器内mysql定时任务备份及遇到问题
昵称已经被占用咯
10-13 1269
备份mysql 注：部分为网上找到，后面加以修改。 创建脚本 命令：vi mysql_backup.sh 内容如下： #!/bin/bash # 设置mysql的登录用户名和密码(根据实际情况填写) mysql_user="root" mysql_password="123456" mysql_host="localhost" mysql_port="3306" mysql_charset="utf8mb4"
docker安装mysql，以及常用操作
weixin_44953395的博客
01-22 1191
docker安装mysql，以及常用操作
docker mysql命令大全_Docker命令大全
weixin_39657094的博客
02-23 515
Docker run 命令docker run [OPTIONS] IMAGE [COMMAND] [ARG...]OPTIONS说明：-a stdin:指定标准输入输出内容类型，可选 STDIN/STDOUT/STDERR 三项；-d:后台运行容器，并返回容器ID；-i:以交互模式运行容器，通常与 -t 同时使用；-P:随机端口映射，容器内部端口随机映射到主机的高端口-p:指定端口映射...
linux环境下报错bash: mysql: command not found 的解决方法
热门推荐
私人天地
07-13 1万+
# mysql -u root -bash: mysql: command not found 原因:这是由于系统默认会查找/usr/bin下的命令，如果这个命令不在这个目录下，当然会找不到命令，我们需要做的就是映射一个链接到/usr/bin目录下，相当于建立一个链接文件。 首先得知道mysql命令或mysqladmin命令的完整路径，比如mysql的路径是：/usr/local/mysql/b...
docker 中安装 MySQL 以及使用
Wayfreem的博客
06-27 3116
docker 中安装MySQL，这里的实现思路是，先拉取完 MySQL 镜像之后，启动 MySQL 容器，然后将 MySQL 的配置文件拉取到本地，关闭之前启动的容器，重新使用挂载的方式启动。
docker安装MySQL(指令安装)
maomao的博客
07-19 829
傻瓜安装
Docker 使用 MySQL
码农UP2U
12-01 1989
目录 在Docker 下部署 MySQL 小坑 总结 使用 Docker 来管理 MySQL、Redis 等各种中间件是十分方便的，无论是生产环境，还是开发环境都非常方便。今天来说一下我用 Docker 来管理 MySQL 时遇到的一个小坑。 在Docker 下部署 MySQL 在 Docker 下部署 MySQL 是很方便的，通过几条命令就可以轻轻松松的下载镜像并完成安装部署。 首先，拉取MySQL镜像： % docker...
docker安装mysql后无法执行mysql命令
myydan的专栏
02-27 2864
[linux]docker安装mysql后无法执行mysql命令 1.系统配置 centos 7 docker 19.03.12 2.安装mysql docker pull mysql #拉取mysql docker run -p 3306:3306 --name mysql02 -e MYSQL_ROOT_PASSWORD=123456 -d mysql #安装3306端口映射mysql docker ps #查看正在运行的docker容器 在这里插入图片描述 这里可以...
grant all privileges on *.* to 报错问题
OOOak
09-08 1万+
参考链接 报了十几次这个错误 ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'identified by '你的密码'' at line...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值