AWS DMS操作示例

原创 2017年01月03日 18:16:30


AWS DMS 操作示例

1.  概要

数据导入导出 AWS Database Migration Service

主页:https://aws.amazon.com/dms/

管理台:https://console.aws.amazon.com/dms/home

2.  主要的源、目标数据库产品

Source Database

Target Database on Amazon RDS

(be on-premises, or in Amazon RDS or EC2

(be ineither Amazon RDS or EC2

Microsoft SQL Server

Amazon Aurora, MySQL,PostgreSQL, MariaDB

MySQL and MariaDB

PostgreSQL

Oracle

Amazon Aurora, MySQL,PostgreSQL, MariaDB

PostgreSQL

Amazon Aurora, MySQL,MariaDB

Amazon Aurora

PostgreSQL

Oracle Data Warehouse

Amazon RedShift

Teradata

Amazon RedShift

Migration


SchemaConversion


Consolidation


Continuous DataReplication


Topics

Network Configurations

Sources

Targets

Schema Conversion

DataConversion - (Unsupported Data Types)

控制台主要任务

3. 步骤列表

Step 3.

高级选项

Step 4.



高级选项


表映射


Step 5.


状态变化:Creating → Ready → Starting → Load complete

执行


成功


以下log输出示例:

2016-10-19T07:43:46[TASK_MANAGER ]I: Task 'H45JHJOT42E2IDSBB6SZ43Z4RE' running full load only infresh start mode (replicationtask.c:805)

2016-10-19T07:43:46[TASK_MANAGER ]I: Creating threads for all components(replicationtask.c:1279)

2016-10-19T07:43:46[TASK_MANAGER ]I: All stream components were initialized(replicationtask.c:2110)

2016-10-19T07:43:46[TASK_MANAGER ]I: Starting subtask #1 (replicationtask_util.c:862)

2016-10-19T07:43:46[TASK_MANAGER ]I: Threads for all components were created(replicationtask.c:1425)

2016-10-19T07:43:46[TASK_MANAGER ]I: Task initialization completed successfully(replicationtask.c:2265)

2016-10-19T07:43:46[SOURCE_UNLOAD ]I: ODBC additional properties = '(null)'(mysql_endpoint_imp.c:605)

2016-10-19T07:43:46[SOURCE_UNLOAD ]I: Connecting to MySQL through ODBC connection string:DRIVER={MySQL ODBC 5.3 UnicodeDriver};SERVER=54.86.173.227;port=3306;UID=root;PWD=***;DB=;initstmt=SETtime_zone='+00:00';Option=74448900; (mysql_endpoint_imp.c:692)

2016-10-19T07:43:46[TARGET_LOAD ]I: Going to connect to ODBC connection string: DRIVER={MySQL ODBC5.3 Unicode Driver};SERVER=mydb-backup.cwsmnpiajkws.us-east-1.rds.amazonaws.com;PORT=3306;UID=root;(odbc_endpoint_imp.c:2094)

2016-10-19T07:43:46[TARGET_LOAD ]I: Target database time zone is UTC+0 hours(odbc_endpoint_imp.c:2660)

2016-10-19T07:43:46[TARGET_LOAD ]I: Transaction size is 10000. Array size is 1000.(odbc_endpoint_imp.c:823)

2016-10-19T07:43:46[TARGET_LOAD ]I: Loading tables in 1 parallel threads by default(odbc_endpoint_imp.c:1417)

2016-10-19T07:43:46[SOURCE_CAPTURE ]I: ODBC additional properties = '(null)'(mysql_endpoint_imp.c:605)

2016-10-19T07:43:46[SOURCE_CAPTURE ]I: Connecting to MySQL through ODBC connection string:DRIVER={MySQL ODBC 5.3 UnicodeDriver};SERVER=54.86.173.227;port=3306;UID=root;PWD=***;DB=;initstmt=SETtime_zone='+00:00';Option=74448900; (mysql_endpoint_imp.c:692)

2016-10-19T07:43:46[TASK_MANAGER ]I: Start loading table 'dms'.'test' (Id = 1) by subtask 1. Start load timestamp00053F32F81420DE (replicationtask_util.c:1028)

2016-10-19T07:43:46[SOURCE_UNLOAD ]I: Unload finished for table 'dms'.'test' (Id =1). 2 rows sent.(streamcomponent.c:2567)

2016-10-19T07:43:46[TARGET_LOAD ]I: Load finished for table 'dms'.'test' (Id =1). 2 rows received. 0 rows skipped. Volumetransfered 648 (streamcomponent.c:2787)

2016-10-19T07:43:46[TASK_MANAGER ]I: Table 'dms'.'test' (Id = 1) Loading finished by subtask1. 2 records transferred.(replicationtask.c:1639)

2016-10-19T07:43:46[TASK_MANAGER ]I: All tables are loaded. Full load only task is stopped(replicationtask.c:2522)

2016-10-19T07:43:51[TASK_MANAGER ]I: Subtask #1 ended (replicationtask_util.c:925)

2016-10-19T07:43:51[TASK_MANAGER ]I: Task management thread terminated(replicationtask.c:2679)

说明:

1. 以下测试的情况,针对的是MySQL的情况

2. “Extra connection attributes” 中输入 database 名字, 如”-D myDB” (不是必须)

3. 检查网络安全选项

4. 自定义 表映射 http://docs.aws.amazon.com/dms/latest/userguide/CHAP_Tasks.CustomizingTasks.TableMapping.html

相关文章推荐

在AWS RDS(Oracle)上执行数据导入

操作纲要 生成导出数据。 传输导出数据至AWS RDS。 远程登录至AWS RDS并执行数据导入操作。 操作步骤 1:获取操作权限操作步骤 1.1 [可选步骤] 创建数据导出目录:为了方便管理,可...

AWS RDS 介绍 一)相关产品 二). 用户手册

AWS RDS 介绍 共分为 7 个部分, 其中 第 3部分重点介绍,如何创建一个RDS 实例。 一) DB 相关产品 https://aws.amazon....

在AWS EC2上编译Caffe,并测试示例程序

在AWS EC2上编译Caffe,并测试示例程序 Caffe 1.0.0 1. 启动Ubuntu 14.04 EC2. 选择镜像版本 2. 进入虚拟机后,安装编译 Caffe 步骤,...

简化AWS CLI操作的jungle

github上最近有一个库叫jungle。 由于作者觉得官方的CLI命令太繁琐,命令行太长,于是做了一个参数类似于Linux命令的命令行工具。 地址 https://github.com/ach...
  • aws0to1
  • aws0to1
  • 2015年08月27日 11:05
  • 557

aws 基本操作入门 (如何创建机器 如何扩容磁盘)

查看所有ec2的描述 aws ec2 describe-instance-status 查看所有的卷信息 aws ec2 describe-volumes 创建安全组 aws ec2 creat...

Boto3 操作AWS的SQS

SQS 介绍: Amazon Simple Queue Service (SQS) 是一项快速可靠、可扩展且完全托管的消息队列服务。Amazon SQS 可以简单、经济高效地解耦云应用程序的各个组件...

AWS3兼容青云对象存储操作类 JAVA单例模式

最近用到青云的对象存储,所以简单封装了一下。package com.tool.objectstoretool;import com.amazonaws.AmazonClientException; i...

Sitecore DMS 中自定义Rule 实现页面个性化

在Sitecore 的DMS 中,提供了丰富的个性化页面的功能。 用户通过配置不同的rule,来实现页面内容的个性化。在Sitecore中已经提供了许多rule,但在实际项目中,还是会遇到一些特定网站...

阿里云 redis 后台 dms bug

引子dms 对某个 key 重命名时,忘记输入新的 key 了。然后不知道重命名 key 是什么。 找出重命名后的 key这里只说最简单的方式选择一个空的 db select 0 随便创建2个数据类...
  • MitKey
  • MitKey
  • 2016年08月16日 12:11
  • 615

示例1.1 File类操作文件

  • 2016年06月02日 20:16
  • 6KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:AWS DMS操作示例
举报原因:
原因补充:

(最多只允许输入30个字)