阿里云RDS 数据迁移备份本地数据库

已于 2023-04-06 14:07:24 修改
阅读量1.4k 收藏 4
点赞数 3
分类专栏： 学习日记 文章标签： 数据库 阿里云 mysql linux centos
于 2023-04-04 13:50:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_54215818/article/details/129950753
版权

RDS MySQL物理备份文件恢复到自建数据库

文章目录

方案准备

RDS Mysql 可适用版本存储类型系列需要插件
mysql.5.7 5.7 5.5本地SSD高可用版Percona XtraBackup 2.4
mysql8.0本地SSD高可用版Percona XtraBackup 8.0

ps：本次实例以mysql5.7为例

注意事项

RDS实例中的表未通过TDE加密

​ 实例中如果存在加密过的表，会导致恢复过程出错，在下载备份文件前，对已加密的表执行解密操作

​ 可在RDS控制台目标实例数据安全性 > TDE页面查看TDE开启状态

Mysql自建库版本与RDS Mysql版本必须相同

自建库所在服务器中必须根据不同Mysql实例安装对应版本的Percona XtraBackup

安装Mysql

##首先安装wget命令
yum install -y wget

##下载Mysql的yum源配置
wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm

##安装Mysql的yum源
yum -y install mysql57-community-release-el7-11.noarch.rpm

##使用yum方式安装Mysql5.7
yum -y install mysql-server --nogpgcheck --nogpgcheck

##启动mysql
systemctl start mysqld.service
systemctl enable mysqld.service

##找到mysql的默认密码
cat /var/log/mysqld.log | grep password
2022-11-02T15:01:52.976608Z 1 [Note] A temporary password is generated for root@localhost: !Th7<vMBA2w_
ps：其中默认密码是： !Th7<vMBA2w_

##登录mysql
mysql -uroot -p' !Th7<vMBA2w_'

##修改mysql密码
alter user user() identified by 'Qj123.com';

##刷新配置
grant all privileges on . to 'root'@'%' identified by 'Qj123.com' with grant option; flush privileges;

Mysql的其他配置

##修改Mysql的默认密码策略 - 可设置简单密码
set global validate_password_policy=0;
set global validate_password_length=1;
flush privileges;

##设置简单密码
alter user 'root'@'localhost' identified by '123456';
grant all privileges on . to 'root'@'%' identified by '123456' with grant option;
flush privileges;

安装Percona XtraBackup2.4

##安装配置工具 percona-release
 yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm
 
##如果安装不成功可手动安装
 wget https://repo.percona.com/yum/percona-release-latest.noarch.rpm
 rpm -ivh percona-release-latest.noarch.rpm
 
##测试存储库
yum list | grep percona

##启用存储库
percona-release enable-only tools release

##如果Percona XtraBackup打算与 上游 MySQL 服务器，你只需要启用仓库：
.toolspercona-release enable-only tools

##安装 Percona XtraBackup：
yum install percona-xtrabackup-24

##Percona 测试存储库yum¶
Percona从我们的测试存储库提供预发布版本。要订阅 测试存储库，您需要在 /etc/yum.repos.d/percona-release.repo.为此，请将两者设置为 （请注意，此文件中有 3 个部分：发布、测试 和实验 - 在这种情况下，它是需要的第二部分 正在更新）。percona-testing-$basearchpercona-testing-noarchenabled = 1

##为了能够进行压缩备份，安装软件包：qpress
yum install qpress -y

##使用下载的rpm包安装Percona XtraBackup
 wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/\
binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm

##本地安装rpm包
 yum localinstall percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm

##PS:卸载 Percona XtraBackup：   
yum remove percona-xtrabackup

自建库安装qpress解压工具

## 下载可执行文件的tar包
wget "http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/183466/cn_zh/1608011575185/qpress-11-linux-x64.tar"

## 解压下载的tar包，取出可执行文件
tar xvf qpress-11-linux-x64.tar

## 设置qpress文件的执行权限
sudo chmod 775 qpress

## 拷贝qpress到/usr/bin中
cp qpress /usr/bin

下载备份

在Linux服务器上，执行如下命令下载物理备份

-  wget -c ‘http://…’ -o test_qp.xb

test_qp.xb是另存的文件名

解压和恢复备份

##在本地服务器上创建一个目录 用于存放解压后的文件
mkdir  -p /mysql/data

##解压压缩包 - 根据压缩包后缀选择解压命令

ps：解压压缩包命令

备份文件类型解压命令
tar 压缩包 （.tar.gz 后缀）tar -izxvf test1.tar.gz -C /mysql/data
xbstream 压缩包（.xb.gz 后缀）gzip -d -c test.xb.gz | xbstream -x -v -C /mysql/data
xbstream 文件包（_qp.xb 后缀）解包：cat test_qp.xb | xbstream -x -v -C /mysql/data 解压：innobackupex --decompress --remove-original /mysql/data
xbstream qpress压缩包（_xb.qp后缀）qpress -do test_xb.qp | xbstream -x -v -C /mysql/data
##查看解压生成后的文件
ls -l /mysql/data

ps：会自动生成一个backup-my.cnf文件

##恢复解压好的备份文件   - -mysql5.6/5.7
innobackupex --defaults-file=/mysql/data/backup-my.cnf --apply-log /mysql/data

##恢复解压好的备份文件   - -mysql8.0
## xtrabackup工具备份前的准备操作
xtrabackup --prepare --target-dir=/mysql/data
## 执行备份还原命令
xtrabackup --datadir=/var/lib/mysql --copy-back --target-dir=/mysql/data

ps：参数含义

参数含义
–defaults-file通过传入文件设置MySQL默认选项。备份集解压后会有backup-my.cnf 一般传入该文件
–apply-log应用此目录下的事务日志文件xtrabackup_logfile到备份集解压后的路径中。
–preparextrabackup工具备份前的准备命令，与后续备份恢复有关。
–datadir源数据库数据所在路径。与MySQL服务的位置有关。
–target-dir备份集解压后的路径。

若系统返回如下类似结果，则说明备份文件已成功恢复到自建数据库：

img

常见报错

​ 若系统返回xtrabackup: Unknown error 3613，请将Percona XtraBackup更新到最新版本后再次尝试

​ 若系统返回如下报错，可以用rm -rf /var/lib/mysql/*命令清空文件夹内文件，然后用chown -R mysql:mysql /var/lib/mysql修改权限。

文件夹不为空

启动Mysql

ps：为了避免版本问题，需修改backup-my.cnf文件

##编辑backup-my.cnf
vi /tmp/backup.cnf
#innodb_log_checksum_algorithm
#innodb_fast_checksum
#innodb_log_block_size
#innodb_doublewrite_file
#innodb_encrypt_algorithm
#rds_encrypt_data
#redo_log_version
#master_key_id
#server_uuid
#innodb_log_checksum_algorithm=strict_crc32
#redo_log_version=1

lower_case_table_names=1
skip-grant-tables

##修改文件属性
chown -R mysql:mysql /mysql/data

##启动mysql进程
mysqld --defaults-file=/mysql/data/backup-my.cnf --user=mysql --datadir=/var/lib/mysql &

启动错误常见报错

**错误一：**
请添加图片描述

解决方案：

windows 下，将原来的mysql data目录下文件 全部拷贝成原来的 ，启动mysql 失败

ERROR 2003 (HY000): Can’t connect to MySQL server on ‘localhost’ (10061)

尝试网上其他方法未果；可采用下面的方法；

查看mysql 启动失败原因方法：

1 mysqld -remove

2 mysqld -install

3 mysqld --console

解决如图问题方法：

删除data 目录下 所有 id_logfile 重启mysql 解决问题；

**错误2：**

请添加图片描述

出现原因：系统中已有mysql启动进程

解决方案：

杀掉原有mysql进程 重启mysql进程

关于内存扩容

扩容原因：因原有阿里云数据压缩后存放于本地，待解压后 本地空间不足 需扩容再解压

  1. 查看已分配的磁盘使用情况：准备为它扩容请添加图片描述

  2. 查看全部磁盘（包括已分配与未分配的磁盘使用情况）请添加图片描述

  3. 可以发现dev这块磁盘总量21.5G，现在为sdb扩容

  4. fdisk /dev/sdb请添加图片描述

  5. 对新增的磁盘处理

  6. 输入partprobe 让系统识别新增的分区

  7. 创建物理卷，使用pvcreate /dev/sdb1请添加图片描述

  8. 使用vgextend命令进行动态扩展请添加图片描述

  9. 将空闲的磁盘拓展到分区

  10. 重新识别分区 - xfs_growfs /dev/mapper/centos-root

  11. 确认服务器空间 - df -h请添加图片描述

关于开放防火墙

systemctl unmask firewalld 执行命令，即可实现取消服务的锁定

systemctl mask firewalld # 下次需要锁定该服务时执行

systemctl start firewalld.service #启动防火墙

systemctl stop firewalld.service #停止防火墙

systemctl reload firewalld.service #重载配置

systemctl restart firewalld.service #重启服务

systemctl status firewalld.service #显示服务的状态

systemctl enable firewalld.service #在开机时启用服务

systemctl disable firewalld.service #在开机时禁用服务

systemctl is-enabled firewalld.service #查看服务是否开机启动

systemctl list-unit-files #查看当前开机启动状态的服务列表

systemctl list-unit-files|grep enabled 查看以允许开机自启的服务

systemctl --failed #查看启动失败的服务列表

路跑码码
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
阿里云 RDS SQL server 数据库备份与还原
淘小欣的博客
05-22 1491
阿里云 RDS SQL server 数据库备份与还原
阿里云rds-mssql日志备份到本地还原
jieling07的博客
01-10 2753
1、在阿里云数据库里面找到最近的一次完整备份，没有就做一次完整备份 2、下载完整备份到本地并还原，本地不用创建数据库，还原的时候会自动生成 3、选择完整的备份文件过后，窗口会改变状态为“就绪” ，然后勾选要还原的备份资源 4、转到选项，恢复状态选择第三个“restore with standby”，解释一下对其他两个状态的理解 “restore with recovery”：还原过后可以立即使用数据库 “restore with norecovery”：还原过后，数据库处...
从阿里云RDS MySQL在线迁移数据到本地MySQL
linux硬派运维
04-04 2952
作者：田逸（vx:formyz） 将阿里云上的RDS MySQL数据迁移到自建的服务器或者虚拟机，如果需要尽可能小的停机时间或者不停服务，那么至少需要做分两个步骤来完成：本地MySQL与RDS MySQL进行数据库同步及验证数据一致后将从库变成主库。其中比较麻烦的事情是本地MySQL与RDS做主从，因为与完整的MySQL主从同步相比，RDS 限制很多。因数据库角色切换比较简单，所以本文仅介绍主从同步 第一步：备份RDS数据 登录阿里云后台，执行数据库备份，得到诸如aaa.qp.xd这样的数据，并将
安装xtrabackup8.0.29-22 存储库yum方式
weixin_55240334的博客
08-26 568
安装xtrabackup
阿里云RDS XtraBackup备份与binlog增量恢复
weixin_33856370的博客
04-04 876
本文档是针对阿里云RDS的全量备份为基础的。阿里云RDS的物理全量备份是基于备库的，所以我们在恢复的时候，需要根据备库的全量数据加上主库的binlog来恢复数据。方案前期准备工作：本地xtrabackup安装RDS主库binlog备份（RDS本身也有备份，但是时间间隔长，数据差异可能大一些）RDS开启物理备份方案总体步骤如下：下载RDS备库物理备份数据确定需要同步的binlo...
阿里云RDS数据库恢复到本地自建数据库中步骤详解.doc
12-04
阿里云RDS数据库恢复到本地自建数据库需要按照步骤执行，需要准备阿里云数据库备份实例、本地服务器上下载数据库和xtrabakcup工具。通过本文档，开发者和数据库管理员可以轻松地恢复阿里云RDS数据库到本地自建数据库...
阿里云RDS 数据恢复操作方案
05-24
阿里云RDS数据恢复操作方案 阿里云RDS数据恢复操作方案是指在使用RDS实例的过程中，出现数据丢失的情况下，通过RDS提供的创建恢复到时间点的临时实例的方法，来找回数据。该方案主要有两种：方案一是直接使用备份集...
阿里云 专有云企业版 V3.12.0 云数据库RDS 用户指南PolarDB版 20200706
05-21
阿里云专有云企业版V3.12.0的云数据库RDS用户指南PolarDB版主要聚焦于为企业提供高效、稳定、易用的数据库服务。PolarDB是阿里云自主研发的高性能分布式云数据库，它结合了传统数据库与云计算的优势，旨在满足企业对...
2-1.阿里云PolarDB和RDS.pdf
03-18
本文档主要介绍了阿里云的PolarDB和RDS数据库产品，涵盖了数据库发展历程、云数据库市场格局、RDS和PolarDB的特性和优势等内容。 数据库发展历程 数据库发展历程可以追溯到1950s，经历了小型机、PC机、互联网和...
阿里云SLB-ECS-OSS-RDS与系统数据迁移.docx
06-12
阿里云SLB-ECS-OSS-RDS与系统数据迁移 阿里云SLB-ECS-OSS-RDS与系统数据迁移是云计算领域中的一个重要概念，它涉及到阿里云的多个服务，包括SLB（负载均衡服务）、ECS（云服务器）、OSS（对象存储服务）和RDS（关系...
qpress-11-1.el7.x86_64.rpm
02-27
最近在搭建pxc集群时发现缺少这个包在百度一直找不到合适的，从谷歌下载了下载，欢迎使用qpress-11-1.el7
xtrabackup备份rds记录
weixin_30472035的博客
01-05 253
在执行最后一步时 mysqld_safe --defaults-file=/home/mysql/data/backup-my.cnf --user=mysql --datadir=/home/mysql/data & 总是提示： Could not open required defaults file: /home/mysql/data/backup-my.cnf Fatal...
阿里云rds数据库备份与恢复
jialiu111111的博客
01-14 6805
1.手动备份 阿里云自动备份与恢复设置 自动删除本地日志 访问RDS实例列表，在上方选择地域，然后单击目标实例ID。 在左侧导航栏选择备份恢复。 选择备份设置页签，编辑本地日志保留策略。 规则一：自动删除超过保留时长的本地日志，默认为18小时。 规则二：满足以下任一条件时，自动删除最早的本地日志文件，直至不满足条件。 本地日志大小÷存储空间大小超过最大存储空间占有率（默认为30%）。 本地日志文件数超过文件保留个数（默认为60）。 实例存储空间使用率超过80%或剩余不足5GB（前...
阿里云rds数据库导出到windows本地数据库中
leigelg的博客
12-05 5774
进入阿里云控制台备份实例 实例备份好过后,到备份恢复中找到刚才备份的实例点击下载 下载后的文件是一个hins6021863_data_20181204062825.tar,将文件解压 解压过后得到hins6021863_data_20181204062825 我们给这个文件加一个后缀.zip 变成了hins6021863_data_20181204062825.zip.继续解压,解压后得到数据...
恢复阿里云RDS的MySQL数据库物理备份到本地自建数据库(简单方法)
weixin_38155632的博客
03-01 2469
1.准备本地环境 首先准备一个64位的linux系统(本人测试使用的是CentOS6.5)，官网说window环境不行，我也没测试到底行不。然后配置好yum环境，最后安装mysql的5.6版本，因为RDS是5.6版本，所以我们本地的mysql数据库要与RDS版本最好一样，防止其他意外，这里使用yum方式快速安装。 rpm-ivhhttp://repo.mysql.com/mysql-co...
阿里云RDS数据库备份文件恢复到本地数据库
weixin_34125592的博客
03-03 444
参考这里：https://help.aliyun.com/knowledge_detail/41817.html 第4.2步要多注释掉一些（应该根据实际报错来注释）： [mysqld] innodb_checksum_algorithm=innodb #innodb_log_checksum_algorithm=innodb innodb_data_file_path=ibdata1...
Python 3.9 定时自动下载阿里云RDS备份到本地
baidu_19965419的博客
09-16 1161
阿里云RDS自动备份文中所述方法适用于安装阿里云SDK核心库安装RDS SDK for Python运行get_rds_backup.py脚本文件 阿里云上的参考技术博文 具体地址：https://help.aliyun.com/knowledge_detail/55515.html?spm=5176.10695662.1996646101.searchclickresult.43bf3e75uTcoXB 文中所述方法适用于 Windows 10 Python 3.9 PyCharm 安装阿里云SD
RDS备份恢复到本地ECS服务器，搭建主从
Super菜的专栏
09-19 1676
一、恢复云数据库MySQL的备份文件到自建数据库 参考阿里文档 https://help.aliyun.com/knowledge_detail/41817.html a.数据库的版本至少为5.6.16及以上(大于等于RDS版本)，我用的是5.6.37 b.我使用percona-xtrabackup-2.3.8 c.下载rds_backup_extract.sh 1.下载RDS备份 wget
Linux Centos 下 安装 Xtrabackup MySQL 阿里云 RDS 备份工具
吴朝洪
10-13 1190
在使用阿里云RDS数据库服务器的时候，备份数据不能直接导入新库，需要用 Xtrabackup 工具来处理阿里云备份文件，转换为数据库。Xtrabackup是一个对InnoDB做数据备份的工具，下面介绍如何安装这个工具。先安装依赖包yum install perl-DBI yum install perl-DBD-MySQL yum install perl-Time-HiRes yum instal
matlab读取阿里云物联网平台数据并读写阿里云RDS数据库
最新发布
06-10
这个问题涉及到两个方面的内容，一个是如何读取阿里云物联网平台数据，另一个是如何读写阿里云RDS数据库。下面我分别进行解答： 1. 如何读取阿里云物联网平台数据？ 阿里云物联网平台提供了多种接入方式，包括 MQTT、HTTP、CoAP 等。其中 MQTT 是最常用的一种接入方式，也是阿里云物联网平台官方推荐的接入方式。在 MATLAB 中，可以使用 MATLAB 自带的 mqtt 函数库来实现 MQTT 协议的订阅和发布。 首先需要在阿里云物联网平台上创建一个设备，获取到设备的三元组信息（ProductKey、DeviceName 和 DeviceSecret）。然后使用 mqtt 函数库连接到阿里云物联网平台的 MQTT 服务器，并订阅设备的 Topic，就可以收到设备上报的数据了。具体的代码如下： ```matlab % 阿里云物联网平台 MQTT 服务器地址 broker = 'tcp://xxxxx.iot-as-mqtt.cn-shanghai.aliyuncs.com'; % 设备三元组信息 productKey = 'xxxxxxxxxxxxx'; deviceName = 'xxxxxxxxxxxxx'; deviceSecret = 'xxxxxxxxxxxxx'; % MQTT 连接选项 options = mqttv5_options('UserName', productKey + '/' + deviceName, ... 'Password', mqtt_password(productKey, deviceName, deviceSecret), ... 'CleanSession', true, ... 'ConnectTimeout', 30); % MQTT 订阅选项 subscription = mqttv5_subscription(topic, 1); % 连接 MQTT 服务器并订阅 Topic client = mqttv5(broker, options); subscribe(client, subscription); % 循环获取设备上报的数据 while true message = receive(client); data = message.Payload; % 处理数据 ... end % 断开 MQTT 连接 unsubscribe(client, subscription); disconnect(client); ``` 2. 如何读写阿里云RDS数据库？ 阿里云RDS是一种云数据库服务，支持多种数据库类型，包括 MySQL、SQL Server、PostgreSQL、PPAS 等。在 MATLAB 中，可以使用 MATLAB 自带的 Database Toolbox 函数库来连接阿里云RDS数据库，并进行数据的读写操作。 首先需要在阿里云RDS上创建一个数据库实例，并开通相应的数据库服务。然后使用 Database Toolbox 函数库连接到阿里云RDS数据库，并执行 SQL 查询语句或更新操作即可。具体的代码如下： ```matlab % 阿里云RDS数据库连接选项 driver = 'com.mysql.jdbc.Driver'; url = 'jdbc:mysql://xxxxxxxxxxxx.rds.aliyuncs.com:3306/xxxxxxxxxxxx'; username = 'xxxxxxxxxxxx'; password = 'xxxxxxxxxxxx'; % 连接阿里云RDS数据库 conn = database('xxxxxxxxxxxx', username, password, driver, url); % 执行 SQL 查询语句 query = 'SELECT * FROM xxxxxxxxxxxx'; curs = exec(conn, query); data = fetch(curs); % 执行 SQL 更新操作 query = 'UPDATE xxxxxxxxxxxx SET xxxxxxxxxxxx = xxxxxxxxxxxx WHERE xxxxxxxxxxxx = xxxxxxxxxxxx'; curs = exec(conn, query); % 关闭数据库连接 close(curs); close(conn); ``` 以上是在MATLAB中读取阿里云物联网平台数据并读写阿里云RDS数据库的基本操作，具体实现还需要根据具体情况进行调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

路跑码码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值