mysql test 映射到实体_利用DLA一键建仓功能一次性归档RDS/MySQL全量数据

最新推荐文章于 2024-04-30 14:03:50 发布

玖玥草莓

最新推荐文章于 2024-04-30 14:03:50 发布

阅读量179

点赞数

文章标签： mysql test 映射到实体

本文链接：https://blog.csdn.net/weixin_33040687/article/details/112223196

版权

背景

目前DLA的一键建仓可以非常方便的进行RDS数据归档任务，只需要简单配置一下，就可以每天同步
最新的归档数据到oss上，进而做一些DLA分析查询等。

但是最近有的用户提出，只需要归档一次，下次不再归档，或者下次归档的目录数据不覆盖之前的。
这样可以保留每次归档的数据snapshot镜像。这种场景在一些审计校对的业务中，确实会比较实用。
本文就针对这个场景，说明如何使用DLA的一键建仓任务，来做各个历史数据镜像的功能。整个过程主要
分以下几步：

一键建仓schema的创建与运行
创建oss schema，创建对应的外表映射
删除原来的一键建仓schema

实战例子

下文演示例子：
某公司在阿里云RDS上，有一个finance库，这个库中各种表专门记录了公司内部所有财务收支记录。会计部门每个月初，需要对上个月的所有财务收支情况进行审计汇总。审计报告由高层管理人员审核。
简单的来讲，用户需要对RDS的数据做周期的一次性归档镜像快照，不互相覆盖，长期有效的存储着这个finance 库历史数据快照，并提供一下低频分析查询的功能操作。如：

2月1号，备份finance库目录为 oss://test/finance/20200201/，子目录有table1、table2、table3....
3月1号，备份finance库目录为 oss://test/finance/20200301/，子目录有table1、table2、table3....
4月1号，备份finance库目录为 oss://test/finance/20200401/，子目录有table1、table2、table3....
5月1号，......

创建一键建仓任务运行,并获取建表语句

创建一键建仓finance20200401任务，选择 20200401目录为schema数据根目录

立即运行finance20200401建仓任务，等待任务完成

schema管理列表，进入finance20200401 复制建表语句

如图，执行show create table users; 得到如下

CREATE EXTERNAL TABLE `finance20200401`.`users` (
`id` string COMMENT '',
`username` string COMMENT '',
`cardnum` string COMMENT '',
`gmt_create` timestamp COMMENT ''
)
COMMENT ''
STORED AS `PARQUET`
LOCATION  'oss://oss-tiansihz-for-xxxxx-test/20200401/6/users'
TBLPROPERTIES (
'auto.create.location' = 'true'
)

这里注意，看到“users”数据目录这次放在了“oss://oss-tiansihz-for-xxxxx-test/20200401/6/”目录下，
于是我们需要创建一个oss schema映射到这个目录下，如下

创建oss schema

创建一个oss schema "20200401_snapshot"，并映射到指定目录下

如图，核心确保这个schema映射到了“oss://oss-tiansihz-for-xxxxx-test/20200401/6/”目录下，创建执行即可

schema管理找到20200401_snapshot，点击“查询数据”进入sql控制台

20200401_snapshot在sql控制台把之前复制的users建表语句粘贴进来，并在location路径最后加上“/”结尾

执行之后，得到了对应的users表，就可以正常查询了。

删除一键建仓任务schema “finance20200401”

此时，就可以吧一键建仓的finance20200401删除了，我们后续要查询的归档数据就用20200401_snapshot 这个schema就可以了。

小结

这里本质上是利用“一键建仓”的schema “finance20200401”完成“一次归档”RDS数据到oss上，然后立即删除这个一键建仓任务schema，防止后续每天都调度。归档过来的数据，使用oss schema 创建的外表来查询即可。整个过程还是比较简单的，方案供参考。
当然为了一次建仓归档调度，还有别的方案。比如在DLA创建一个mysql表 usersA，再创建一个oss表usersB, 两个结构相同，然后DLA发起一个insert into B select from A sql就可以了。这里不展开，有需要的可以咨询“DLA答疑”客服。