ProxySQL备份策略

最新推荐文章于 2024-05-20 10:27:28 发布
最新推荐文章于 2024-05-20 10:27:28 发布
阅读量755 收藏
点赞数
分类专栏： ProxySQL
原文链接：https://mydbops.wordpress.com/2019/05/18/proxysql-series-proxysql-backup-startegies/
版权

ProxySQL Series : ProxySQL Backup Startegies

介绍

我们深知ProxySQL是MySQL的领先SQL感知代理之一。 在本博客中，我将解释ProxySQL的备份和还原策略。 我认为，关于该主题的博客仍然结构不完善。

如果您正在寻找我们的ProxySQL系列的其他文章：

ProxySQL真的需要备份吗?

  • 您已经在单个ProxySQL下配置了产品服务器。 有人在AWS控制台中意外终止了代理服务器，现在真的需要ProxySQL备份吗？
  • 您有来自DEV团队的请求，要使用现有的相同配置再构建一个ProxySQL，您准备好手动执行新ProxySQL设置配置的所有命令（复杂规则）了吗？
  • 意外地，您的DC崩溃了，您需要在其他DC中构建ProxySQL，您将如何在短时间内做到这一点？

ProxySQL备份策略–

作为一名DBA，我认为以下四种策略在备份ProxySQL方面起着至关重要的作用。

  • sqlite3备份
  • 物理快照
  • 配置文件备份
  • mysqldump

在进入本主题之前，我将简要介绍一下我的测试环境。 我在ProxySQL中配置了5台服务器（1个主服务器3个从属服务器1个备份节点）。

Master：192.168.33.25

Slaves：192.168.33.26，192.168.33.27，192.168.33.28

Backup：192.168.33.29

mysql> select hostgroup_id,hostname,port,status,comment from mysql_servers;
+--------------+---------------+------+--------+---------+
| hostgroup_id | hostname      | port | status | comment |
+--------------+---------------+------+--------+---------+
| 100          | 192.168.33.25 | 3306 | ONLINE | master  |
| 100          | 192.168.33.26 | 3306 | ONLINE | slave1  |
| 100          | 192.168.33.27 | 3306 | ONLINE | slave2  |
| 100          | 192.168.33.28 | 3306 | ONLINE | slave3  |
| 100          | 192.168.33.29 | 3306 | ONLINE | backup  |
+--------------+---------------+------+--------+---------+
5 rows in set (0.00 sec)

让我们进入实际实验

Sqlite3 backup

Sqlite是ProxySQL的后端数据库。 Sqlite3是用于在Sqlite数据库上执行备份的客户端工具。 这也有助于查看数据文件中的可用内容，而无需还原备份。

Example

[root@mydbopslabs25 proxysql]# ls /var/lib/proxysql/
mysql_server.sql  proxysql.db proxysql.log  proxysql.pid proxysql_stats.db
[root@mydbopslabs25 proxysql]# sqlite3 proxysql.db 
SQLite version 3.7.17 2013-05-20 00:56:22
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> select * from mysql_servers;
100|192.168.33.25|3306|ONLINE|1|0|1000|0|0|0|master
100|192.168.33.26|3306|ONLINE|1|0|1000|0|0|0|slave1
100|192.168.33.27|3306|ONLINE|1|0|1000|0|0|0|slave2
100|192.168.33.28|3306|ONLINE|1|0|1000|0|0|0|slave3
100|192.168.33.29|3306|ONLINE|1|0|1000|0|0|0|backup
sqlite> .quit

以下是使用Sqlite3执行逻辑备份和还原的过程。

cmd -

[root@mydbopslabs25 proxysql]# sqlite3 proxysql.db .dump > data.sql 

Backup file output -

[root@mydbopslabs25 proxysql]# cat data.sql | head -n5
PRAGMA foreign_keys=OFF;
BEGIN TRANSACTION;
CREATE TABLE mysql_servers (hostgroup_id INT CHECK (hostgroup_id>=0) NOT NULL DEFAULT 0 , hostname VARCHAR NOT NULL , port INT NOT NULL DEFAULT 3306 , status VARCHAR CHECK (UPPER(status) IN ('ONLINE','SHUNNED','OFFLINE_SOFT', 'OFFLINE_HARD')) NOT NULL DEFAULT 'ONLINE' , weight INT CHECK (weight >= 0) NOT NULL DEFAULT 1 , compression INT CHECK (compression >=0 AND compression <= 102400) NOT NULL DEFAULT 0 , max_connections INT CHECK (max_connections >=0) NOT NULL DEFAULT 1000 , max_replication_lag INT CHECK (max_replication_lag >= 0 AND max_replication_lag <= 126144000) NOT NULL DEFAULT 0 , use_ssl INT CHECK (use_ssl IN(0,1)) NOT NULL DEFAULT 0 , max_latency_ms INT UNSIGNED CHECK (max_latency_ms>=0) NOT NULL DEFAULT 0 , comment VARCHAR NOT NULL DEFAULT '' , PRIMARY KEY (hostgroup_id, hostname, port) );

INSERT INTO "mysql_servers" VALUES(100,'192.168.33.25',3306,'ONLINE',1,0,1000,0,0,0,'master');

INSERT INTO "mysql_servers" VALUES(100,'192.168.33.26',3306,'ONLINE',1,0,1000,0,0,0,'slave1');

备份还原

[root@mydbopslabs25 proxysql]# mv data.sql /
[root@mydbopslabs25 proxysql]# service proxysql stop
Shutting down ProxySQL: DONE!
[root@mydbopslabs25 proxysql]# sqlite3 /var/lib/proxysql/proxysql.db < /data.sql 
[root@mydbopslabs25 proxysql]# 
[root@mydbopslabs25 proxysql]# service proxysql start
Starting ProxySQL: 2019-05-02 20:51:46 [INFO] Using config file /etc/proxysql.cnf
DONE!
[root@mydbopslabs25 proxysql]# mysql -h127.0.0.1 -uadmin -padmin -P6032  -e "select hostgroup_id,hostname,port,status,comment from mysql_servers;"
+--------------+---------------+------+--------+---------+
| hostgroup_id | hostname      | port | status | comment |
+--------------+---------------+------+--------+---------+
| 100          | 192.168.33.25 | 3306 | ONLINE | master  |
| 100          | 192.168.33.26 | 3306 | ONLINE | slave1  |
| 100          | 192.168.33.27 | 3306 | ONLINE | slave2  |
| 100          | 192.168.33.28 | 3306 | ONLINE | slave3  |
| 100          | 192.168.33.29 | 3306 | ONLINE | backup  |
+--------------+---------------+------+--------+---------+

是的，它运行正常。 这是一个逻辑备份，我们可以在RUNTIME上使用此方法而无需关闭ProxySQL。

Physical snapshot

这是我们用来进行冷备份的常用方法。 以下是此备份过程中涉及的步骤。

  • 关闭ProxySQL
  • 拷贝data directory到备份目录
  • 启动ProxySQL
[root@mydbopslabs25 proxysql]# pwd
/var/lib/proxysql
[root@mydbopslabs25 proxysql]# service proxysql stop
Shutting down ProxySQL: DONE!
[root@mydbopslabs25 proxysql]# cp -r /var/lib/proxysql/* /backup_snapshot/
[root@mydbopslabs25 proxysql]# service proxysql start
Starting ProxySQL: 2019-05-02 20:59:33 [INFO] Using config file /etc/proxysql.cnf
DONE!
[root@mydbopslabs25 proxysql]# ls -lrth /backup_snapshot/
total 168K
-rw------- 1 root root 108K May  2 20:59 proxysql_stats.db
-rw------- 1 root root  15K May 2 20:59 proxysql.log
-rw-r--r-- 1 root root  42K May 2 20:59 proxysql.db

下面的步骤是恢复过程

[root@mydbopslabs25 proxysql]# service proxysql stop
Shutting down ProxySQL: DONE!
[root@mydbopslabs25 proxysql]# pwd
/var/lib/proxysql
[root@mydbopslabs25 proxysql]# rm -rf /var/lib/proxysql/*
[root@mydbopslabs25 proxysql]# cp -r /backup_snapshot/* /var/lib/proxysql/
[root@mydbopslabs25 proxysql]# chown -R proxysql:proxysql /var/lib/proxysql/

[root@mydbopslabs25 proxysql]# ls -lrth
total 168K
-rw------- 1 proxysql proxysql  15K May 2 21:02 proxysql.log
-rw-r--r-- 1 proxysql proxysql  42K May 2 21:02 proxysql.db
-rw------- 1 proxysql proxysql 108K May  2 21:02 proxysql_stats.db

[root@mydbopslabs25 proxysql]# service proxysql start
Starting ProxySQL: 2019-05-02 21:03:02 [INFO] Using config file /etc/proxysql.cnf
DONE!

[root@mydbopslabs25 proxysql]# mysql -h127.0.0.1 -uadmin -padmin -P6032  -e "select hostgroup_id,hostname,port,status,comment from mysql_servers;"
+--------------+---------------+------+--------+---------+
| hostgroup_id | hostname      | port | status | comment |
+--------------+---------------+------+--------+---------+
| 100          | 192.168.33.25 | 3306 | ONLINE | master  |
| 100          | 192.168.33.26 | 3306 | ONLINE | slave   |
| 100          | 192.168.33.27 | 3306 | ONLINE | slave1  |
| 100          | 192.168.33.28 | 3306 | ONLINE | slave2  |
| 100          | 192.168.33.29 | 3306 | ONLINE | backup  |
+--------------+---------------+------+--------+---------+

在不停止ProxySQL的情况下拍摄快照可能会导致备份损坏。

注意：确保以相同的ProxySQL版本还原备份，以避免架构结构上的冲突。

Config file backup

我个人非常喜欢这种备份方法。 ProxySQL提供了我们可以在运行时完成的最大配置，而无需重新启动ProxySQL。 无需配置文件条目。 但是，每当在ProxySQL中进行更改时，我建议也将这些条目添加到ProxySQL配置文件中，并进行备份。

这是我的备份ProxySQL配置文件，我在“ / etc /”下添加了

cat /etc/proxysql.cnf
.
.
mysql_servers =
(
        { address="192.168.33.25" , port=3306 , hostgroup=100, status="ONLINE", comment="master" },
        { address="192.168.33.26" , port=3306 , hostgroup=100, status="ONLINE", comment="slave1" },
        { address="192.168.33.27" , port=3306 , hostgroup=100, status="ONLINE", comment="slave2" },
        { address="192.168.33.28" , port=3306 , hostgroup=100, status="ONLINE", comment="slave3" },
        { address="192.168.33.29" , port=3306 , hostgroup=100, status="ONLINE", comment="backup" }
)
:

现在，我将使用更新的配置文件启动ProxySQL，

#Linux shell 

[root@mydbopslabs25 proxysql]# service proxysql start 
Starting ProxySQL: 2019-05-03 00:02:01 [INFO] Using config file /etc/proxysql.cnf DONE! 
[root@mydbopslabs25 proxysql]# ls 
[root@mydbopslabs25 proxysql]# mysql -h127.0.0.1 -uadmin -padmin -P6032  -e "select hostgroup_id,hostname,port,status,comment from mysql_servers;" 

+--------------+---------------+------+--------+---------+
| hostgroup_id | hostname      | port | status | comment |
+--------------+---------------+------+--------+---------+
| 100          | 192.168.33.25 | 3306 | ONLINE | master  |
| 100          | 192.168.33.26 | 3306 | ONLINE | slave   |
| 100          | 192.168.33.27 | 3306 | ONLINE | slave1  |
| 100          | 192.168.33.28 | 3306 | ONLINE | slave2  |
| 100          | 192.168.33.29 | 3306 | ONLINE | backup  |
+--------------+---------------+------+--------+---------+

这是在ProxySQL中实现备份的最简单方法之一。我们可以将这种方法用于新的部署。

Mysqldump

我们可以使用mysqldump执行ProxySQL备份。 但是，MySQL和Sqlite3数据库之间有一组不同的管理命令。 不过，我们可以通过忽略MySQL转储文件中不需要的对象来实现此目的。

Example

cmd-
[root@mydbopslabs25 proxysql]# mysqldump -h127.0.0.1 -uadmin -padmin -P6032 --no-tablespaces --no-create-info --no-create-db --skip-triggers main mysql_servers | grep -i 'lock tables\|insert into' > mysqldump_data.sql

[root@mydbopslabs25 proxysql]# ls -lrth mysqldump_data.sql 
-rw-r--r-- 1 root root 470 May  3 00:20 mysqldump_data.sql

output-
[root@mydbopslabs25 proxysql]# cat mysqldump_data.sql 
LOCK TABLES `mysql_servers` WRITE;
INSERT INTO `mysql_servers` VALUES ('100','192.168.33.25','3306','ONLINE','1','0','1000','0','0','0','master'),('100','192.168.33.26','3306','ONLINE','1','0','1000','0','0','0','slave'),('100','192.168.33.27','3306','ONLINE','1','0','1000','0','0','0','slave1'),('100','192.168.33.28','3306','ONLINE','1','0','1000','0','0','0','slave2'),('100','192.168.33.29','3306','ONLINE','1','0','1000','0','0','0','backup');
UNLOCK TABLES;

恢复mysqldump文件，

[root@mydbopslabs25 proxysql]# service proxysql stop
Shutting down ProxySQL: DONE!
[root@mydbopslabs25 proxysql]# pwd
/var/lib/proxysql
[root@mydbopslabs25 proxysql]# rm -rf 
[root@mydbopslabs25 proxysql]# service proxysql start
Starting ProxySQL: 2019-05-03 00:26:23 [INFO] Using config file /etc/proxysql.cnf
DONE!

[root@mydbopslabs25 proxysql]# mysql -h127.0.0.1 -uadmin -padmin -P6032 -vvv < /mysqldump_data.sql 
--------------
LOCK TABLES `mysql_servers` WRITE
--------------
Query OK, 0 rows affected (0.00 sec)
--------------
INSERT INTO `mysql_servers` VALUES ('100','192.168.33.25','3306','ONLINE','1','0','1000','0','0','0','master'),('100','192.168.33.26','3306','ONLINE','1','0','1000','0','0','0','slave'),('100','192.168.33.27','3306','ONLINE','1','0','1000','0','0','0','slave1'),('100','192.168.33.28','3306','ONLINE','1','0','1000','0','0','0','slave2'),('100','192.168.33.29','3306','ONLINE','1','0','1000','0','0','0','backup')
--------------
Query OK, 5 rows affected (0.00 sec)
--------------
UNLOCK TABLES
--------------
Query OK, 0 rows affected (0.00 sec)
Bye

[root@mydbopslabs25 proxysql]# mysql -h127.0.0.1 -uadmin -padmin -P6032  -e "select hostgroup_id,hostname,port,status,comment from mysql_servers;"
+--------------+---------------+------+--------+---------+
| hostgroup_id | hostname      | port | status | comment |
+--------------+---------------+------+--------+---------+
| 100          | 192.168.33.25 | 3306 | ONLINE | master  |
| 100          | 192.168.33.26 | 3306 | ONLINE | slave   |
| 100          | 192.168.33.27 | 3306 | ONLINE | slave1  |
| 100          | 192.168.33.28 | 3306 | ONLINE | slave2  |
| 100          | 192.168.33.29 | 3306 | ONLINE | backup  |
+--------------+---------------+------+--------+---------+

如上所述，由于在Sqlite3中大多数情况下不支持MySQL转储文件中的SQL语句（代码），因此恢复起来有点困难。

我相信该博客肯定会为正在为其ProxySQL服务器寻找备份解决方案的人提供帮助。

MySQL——使用mysqldump命令备份
m0_72882572的博客
11-06 1万+
使用mysqldump命令备份 mysqldump命令可以将数据库中的数据备份成一个文本文件。表的结构和表中的数据将存储在生成的文本文件中。本节将介绍mysqldump命令的工作原理和使用方法。
MySQL的高可用方案：深入Galera Cluster和ProxySQL
最新发布
哎 你看的博客
06-15 1203
一、引言 背景和重要性 面临的挑战和问题 高可用性介绍 二、Galera Cluster Galera Cluster简介 定义和用途 工作原理 特点和优势 部署Galera Cluster 准备工作 安装和配置 集群初始化及节点添加 Galera Cluster的运维 监控和维护 故障恢复和备份 优化和性能调整 三、ProxySQL ProxySQL简介 定义和用途 工作原理 特点和优势 部署ProxySQL 准备工作 安装和配置 连接管理和路由 ProxySQL运维 监控和维护 故障恢复和备份
proxysql配置信息清理、备份、还原
07-18 654
1、紧接上文，配置过程请看上文2、进入proxysql数据目录 [root@12c proxysql]# cd /var/lib/proxysql/ [root@12c proxysql]# ll total 344 -rw-rw-r-- 1 proxysql proxysql 1050 Jul 18 13:45 proxysql-ca.pem -rw-rw-r-- 1 proxysql pr...
通过ProxySQL实现MySQL读写分离
id_is_null的博客
05-20 964
ProxySQL 是一个高性能、面向 MySQL 协议的代理服务器，用于 MySQL、MariaDB 服务器的读写分离、负载均衡、故障转移和查询路由。
mysql数据库备份和同步_mysql数据库备份，主从复制及半同步复制
weixin_31081677的博客
01-19 329
1、使用mysqldump备份数据库并通过备份及二进制日志还原数据(备份完后再写入数据,然后再删库)mysqldump -A --single-transaction -F --master-data=2 > /data/backup/mysql.sql-A备份所有数据库，--single-stransaction开启事务备份 -F 刷新日志 --master-data=2记录二进制日志位置...
Linux随笔19-MySQL主从复制、Percona XtraBackup实现全量和增量备份、ProxySQL实现读写分离
ikkyphoenix的专栏
08-13 651
Contents1. MySQL5.7实现主从复制2. Percona XtraBackup实现全量和增量备份3. MyCAT实现读写分离4. References 1. MySQL5.7实现主从复制 通过主从复制，主要解决数据备份以及高可用和故障切换以及恢复的问题。主从复制有几种形式： 1主1从 ：一台master节点以及一台slave节点，master节点执行数据写入，slave节点设置为只读。 1主多从 ：上述形式的扩展，通过设置多个从节点，可以更好的提升数据安全性。 级联复制（1主1中间1从） ：
ProxySQL中的安全加固与权限管理策略
ProxySQL简介 ## 1.1 ProxySQL概述 ProxySQL是一个高性能，开源的MySQL代理，能够在数据库服务器和应用程序之间进行负载均衡和查询优化。它可以有效地管理数据库连接，提高数据库的可伸缩性和性能。ProxySQL使用...
ProxySQL中的数据复制监控与容灾备份解决方案
ProxySQL是一个高性能的开源MySQL代理，用于实现负载均衡、自动故障转移、数据复制监控等功能。通过ProxySQL，可以轻松管理大规模的MySQL部署，提高系统的可用性和性能。 ## 数据复制监控的重要性 数据复制是MySQL...
cpp-ProxySQL高性能的MySQL代理
08-16
- **负载均衡**：ProxySQL可以根据预定义的策略，如轮询、最小连接数等，将客户端请求智能地分发到后端MySQL实例，从而实现数据读写分离和减轻单个数据库的压力。 - **故障检测与自动切换**：通过实时监控后端...
ProxySQL中的常见问题解决与最佳实践
## 1.1 什么是ProxySQL？ 在本章中，我们将介绍ProxySQL，它是一个高性能的MySQL代理服务器，专门设计用于提供负载均衡、故障转移和查询缓存等功能。ProxySQL能够有效地管理数据库连接，并对数据库服务器的请求进行...
Mysql读写分离，Mycat、ProxySQL（代理服务器）--多种问题
2401_83641180的博客
03-30 848
阿里伤透我心，疯狂复习刷题，终于喜提offer 哈哈~好啦，不闲扯了1、JAVA面试核心知识整理（PDF）：包含JVMJAVA集合JAVA多线程并发，JAVA基础，Spring原理微服务，Netty与RPC，网络，日志，ZookeeperKafkaRabbitMQ，Hbase，MongoDB设计模式负载均衡数据库一致性哈希JAVA算法数据结构，加密算法，分布式缓存，Hadoop，Spark，Storm，YARN，机器学习，云计算共30个章节。2、Redis学习笔记及学习思维脑图。
ProxySQL新版本对MGR的原生支持
老叶茶馆
03-31 2571
导读译者：张锐志（微信号：516160507），知数堂第10期MySQL学员原文出处：http://lefred.be/content/mysql-group-replication-native-support-in-proxysql/原文作者：lefredProxySQL在MySQL的代理和负载均衡中一直处于领先地位。其中包含了诸如缓存查询，多路复用，流量镜像，读写分离，路由等等的强力功能。在
proxysql配置读写分离策略和权重调整一例
csd753111111的博客
10-09 525
操作系统：CentOS release 6.9 主库: 192.168.140.51 从库1: 192.168.140.52 read_only=on 从库2: 192.168.16.15...
mysql的proxy机制同步_MySQL主从复制+mysql-proxy读写分离
weixin_35799467的博客
01-28 202
MySQL主从复制+mysql-proxy读写分离主从复制的方式有两种：基于日志、基于GTID(全局事务标识符)，我们使用基于日志的复制MySQL主从复制原理(A/B)1)master讲数据改变记录到二进制日志(binary log)中，也就是配置文件log-bin指定的文件，这些记录叫做二进制日志时间(binary log events);2)slave通过I/O线程读取master中的bina...
利用SQLSERVER代理实现自动备份
weixin_48315099的博客
02-01 1760
利用SQLSERVER代理达到自动备份 自行记录，如有问题欢迎讨论，作者也是个新手。 打开SQLSERVER 代理服务 新建维护计划向导 如图： 点击【下一步】 输入 名称、说明后，即可点击【下一步】 勾选 【备份数据库（完整）】，点击【下一步】 再次点击【下一步】 选完数据库后，点击【下一步】 点击【下一步】 点击【完成】 新建（修改）每天执行时间： 根据自己的需求选择触发时间。 SQL Server 代理 ------作业 当完成【维护计划向导】时，作业下方会出
使用MySQL Proxy解决MySQL主从同步延迟
06-03 1142
MySQL的主从同步机制非常方便的解决了高并发读的应用需求，给Web方面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖Slave主动向Master发请求来获取数据的，而且由于服务器负载、网络拥堵等方面的原因，Master与Slave 之间的数据同步延迟是完全没有保证的。短在1秒内，长则几秒、几十秒甚至更长都有可能。 由于数据延迟问题的存在，当应用程序在Mast...
ProxySQL实现双主双从读写分离部署
运维小lemon的博客
03-14 1764
文章目录1.环境说明2.安装proxysql和安装mysql和配置主从2.1给四台mysql安装mariadb2.2安装proxysql2.2.1配置mysql-master和mysql-master22.2.2登录proxysql管理端2.2.3使用 insert 语句添加 mysql 主从到 mysql_servers 表中，其中：hostgroup_id 1 表示写组，2表示读组2.2.4在...
Proxysql 的基础知识
zhangdd的博客
06-04 2010
Proxysql 的基础知识ProxySQL是一个可以实现MySQL读写分离的轻量级工具。ProxySQL的特点将所有配置保存写入到SQLit表中。支持动态加载配置，即一般可以在线修改配置，但有少部分参数还是需要重启来生效。支持query cache。支持对query的路由，可以针对某个语句进行分配去哪个实例执行。故障切换。过滤危险的SQL。不支持分表，可以分库，但是利用规则配置实现分表。Prox...
ProxySQL安装与配置指南
"ProxySQL快速上手文档提供了一步一步的指南，教你如何安装ProxySQL，登录管理界面，并配置读写分离和路由规则。" ProxySQL是一款高性能的MySQL中间件，支持读写分离、负载均衡、故障切换等功能，广泛应用于大型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值