![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AWS-DMS
|ChuckChen|
本博客为记录作者平时测试与学习笔记,并分享给大家。专注原创。希望可以带给大家一些技术上的分享。
本博客仅作者本人所有, 与 AWS 官方没有任何关联。所有言论也仅代表作者本人。
展开
-
AWS - DMS - PG作为源端时启用CDC
执行 DMS 的 CDC ,当PostgreSQL 作为数据库的源端时,会在源端实例创建 replication slot, 这会将 DMS 复制任务当作一个 PG 的从库。 避免为应用的日志被删除,所以主库实例会保存日志,直到从库获取日志。 我们可以通过以下查询语句获取到该信息。 当 DMS 正常启动时, 可以从 pg_stat_replication , pg_replication_slots 查询到信息。 当 DMS 停止状态时, 可以从 pg_stat_replication 查询到信息。 请将原创 2020-07-29 13:06:47 · 564 阅读 · 0 评论 -
AWS - DMS - 迁移 MySQL 时由于时区导致的数据验证错误
通过 AWS DMS 迁移 MySQL 时由于时区导致的数据验证错误, 查看DMS 执行。 如何查看 AWS DMS 到底做了些什么,或者执行了哪些语句? 我们可以在配置 DMS任务时,开启日志的 Debug 模式。 并且将数据库的日志模式设置为最高。 比如 MySQL 中开启 general_log. 如果数据库中的时区设置不为 UTC。 那么当表中使用 timestamp 时, DMS 做 validation 就会有问题。 这是因为 valiedation 时, 对 源库 的连接会自动使用 UTC 的原创 2020-07-23 17:13:04 · 640 阅读 · 0 评论 -
AWS - DMS - Redshift 作为目标端时的
当 Redshift 集群作为 DMS 中的 目标端 时, IAM Role的这一步经常会被忽略。 导致在执行DMS任务时,发现 表已经被创建在目标端了,但是数据确没过去。 查看日志,只有一条 Warning,Table 'public'.'tablename' (subtask 1 thread 1) is suspended (replicationtask.c:2471)。 再无其他信息。这时我们束手无策。返回头去查文档,发现没什么问题啊。同账号,同区域,网络都通,Role创建了,没有LOB。 AWS原创 2020-06-06 00:45:11 · 516 阅读 · 0 评论 -
AWS - DMS - Full Load 的 3 种 ”目标表准备模式“
AWS DMS 中 Full Load 的3 种 ”目标表准备模式“ 。 不执行任何操作:目标表中存在数据不会被更改,只会插入不一样的数据。 删除目标中的表:表会被删除,重建。 截断:表不会被删除。数据会被truncate。 原表结构及数据: mysql> desc test_dms_1 -> ; +-------+-----------+------+-----+-------------------+-----------------------------+ | Field | T原创 2020-05-28 21:07:09 · 456 阅读 · 0 评论 -
AWS -DMS -实例内存降低
要执行数据库迁移,AWS DMS 将连接到源数据存储,读取源数据并设置数据格式以供目标数据存储使用。然后,它会将数据加载到目标数据存储中。此处理大部分在内存中进行,不过大型事务可能需要部分缓冲到磁盘。缓存事务和日志文件也会写入磁盘。 在完全加载迁移过程中,源中的现有数据将移动到目标数据库,AWS DMS 会将源数据存储上的表中的数据加载到目标数据存储上的表。在完全加载进行期间,对所加载表进行的更改...原创 2020-04-03 14:25:07 · 405 阅读 · 0 评论