AWS DMS操作示例

原创 2017年01月03日 18:16:30


AWS DMS 操作示例

1.  概要

数据导入导出 AWS Database Migration Service

主页:https://aws.amazon.com/dms/

管理台:https://console.aws.amazon.com/dms/home

2.  主要的源、目标数据库产品

Source Database

Target Database on Amazon RDS

(be on-premises, or in Amazon RDS or EC2

(be ineither Amazon RDS or EC2

Microsoft SQL Server

Amazon Aurora, MySQL,PostgreSQL, MariaDB

MySQL and MariaDB

PostgreSQL

Oracle

Amazon Aurora, MySQL,PostgreSQL, MariaDB

PostgreSQL

Amazon Aurora, MySQL,MariaDB

Amazon Aurora

PostgreSQL

Oracle Data Warehouse

Amazon RedShift

Teradata

Amazon RedShift

Migration


SchemaConversion


Consolidation


Continuous DataReplication


Topics

Network Configurations

Sources

Targets

Schema Conversion

DataConversion - (Unsupported Data Types)

控制台主要任务

3. 步骤列表

Step 3.

高级选项

Step 4.



高级选项


表映射


Step 5.


状态变化:Creating → Ready → Starting → Load complete

执行


成功


以下log输出示例:

2016-10-19T07:43:46[TASK_MANAGER ]I: Task 'H45JHJOT42E2IDSBB6SZ43Z4RE' running full load only infresh start mode (replicationtask.c:805)

2016-10-19T07:43:46[TASK_MANAGER ]I: Creating threads for all components(replicationtask.c:1279)

2016-10-19T07:43:46[TASK_MANAGER ]I: All stream components were initialized(replicationtask.c:2110)

2016-10-19T07:43:46[TASK_MANAGER ]I: Starting subtask #1 (replicationtask_util.c:862)

2016-10-19T07:43:46[TASK_MANAGER ]I: Threads for all components were created(replicationtask.c:1425)

2016-10-19T07:43:46[TASK_MANAGER ]I: Task initialization completed successfully(replicationtask.c:2265)

2016-10-19T07:43:46[SOURCE_UNLOAD ]I: ODBC additional properties = '(null)'(mysql_endpoint_imp.c:605)

2016-10-19T07:43:46[SOURCE_UNLOAD ]I: Connecting to MySQL through ODBC connection string:DRIVER={MySQL ODBC 5.3 UnicodeDriver};SERVER=54.86.173.227;port=3306;UID=root;PWD=***;DB=;initstmt=SETtime_zone='+00:00';Option=74448900; (mysql_endpoint_imp.c:692)

2016-10-19T07:43:46[TARGET_LOAD ]I: Going to connect to ODBC connection string: DRIVER={MySQL ODBC5.3 Unicode Driver};SERVER=mydb-backup.cwsmnpiajkws.us-east-1.rds.amazonaws.com;PORT=3306;UID=root;(odbc_endpoint_imp.c:2094)

2016-10-19T07:43:46[TARGET_LOAD ]I: Target database time zone is UTC+0 hours(odbc_endpoint_imp.c:2660)

2016-10-19T07:43:46[TARGET_LOAD ]I: Transaction size is 10000. Array size is 1000.(odbc_endpoint_imp.c:823)

2016-10-19T07:43:46[TARGET_LOAD ]I: Loading tables in 1 parallel threads by default(odbc_endpoint_imp.c:1417)

2016-10-19T07:43:46[SOURCE_CAPTURE ]I: ODBC additional properties = '(null)'(mysql_endpoint_imp.c:605)

2016-10-19T07:43:46[SOURCE_CAPTURE ]I: Connecting to MySQL through ODBC connection string:DRIVER={MySQL ODBC 5.3 UnicodeDriver};SERVER=54.86.173.227;port=3306;UID=root;PWD=***;DB=;initstmt=SETtime_zone='+00:00';Option=74448900; (mysql_endpoint_imp.c:692)

2016-10-19T07:43:46[TASK_MANAGER ]I: Start loading table 'dms'.'test' (Id = 1) by subtask 1. Start load timestamp00053F32F81420DE (replicationtask_util.c:1028)

2016-10-19T07:43:46[SOURCE_UNLOAD ]I: Unload finished for table 'dms'.'test' (Id =1). 2 rows sent.(streamcomponent.c:2567)

2016-10-19T07:43:46[TARGET_LOAD ]I: Load finished for table 'dms'.'test' (Id =1). 2 rows received. 0 rows skipped. Volumetransfered 648 (streamcomponent.c:2787)

2016-10-19T07:43:46[TASK_MANAGER ]I: Table 'dms'.'test' (Id = 1) Loading finished by subtask1. 2 records transferred.(replicationtask.c:1639)

2016-10-19T07:43:46[TASK_MANAGER ]I: All tables are loaded. Full load only task is stopped(replicationtask.c:2522)

2016-10-19T07:43:51[TASK_MANAGER ]I: Subtask #1 ended (replicationtask_util.c:925)

2016-10-19T07:43:51[TASK_MANAGER ]I: Task management thread terminated(replicationtask.c:2679)

说明:

1. 以下测试的情况,针对的是MySQL的情况

2. “Extra connection attributes” 中输入 database 名字, 如”-D myDB” (不是必须)

3. 检查网络安全选项

4. 自定义 表映射 http://docs.aws.amazon.com/dms/latest/userguide/CHAP_Tasks.CustomizingTasks.TableMapping.html

AWS云数据仓库Redshift,让您的数据飞起来

AWS云数据仓库Redshift,让您的数据飞起来 随着信息技术的迅速发展,各行各业积累的数据都呈现出爆炸增长的趋势,我们已经进入了大数据的时代。当前企业数据的规模和复杂度不断增长,如何快速低成本的...
  • u012365585
  • u012365585
  • 2016年05月24日 11:28
  • 4434

DB2支持的三种表空间SMS、DMS、DMS的自动存储

文章来源:http://blog.itpub.net/25744374/viewspace-750054/ DB2中,表空间是数据库与这个数据库中存储的表之间的逻辑层。表空间在数据库...
  • aosica321
  • aosica321
  • 2015年02月03日 22:19
  • 979

Android项目的持续集成:Gradle+SonarQube+Jenkins

升级Jenkins原有的Jenkins版本过旧,所以需要升级。升级过程比较简单,就是下载了新的jenkins.war丢到tomcat上就完成了。 注意的是新版本的Jenkins要求在JDK8下运行。...
  • u011170540
  • u011170540
  • 2017年01月21日 01:36
  • 1562

AWS EC2/S3命令记录

从EC2拷贝整个文件夹到S3:  aws s3 cp local_path s3://bucket_name --recursive 拷贝单个文件: aws s3 cp localpath ...
  • chenxianming_GUITAR
  • chenxianming_GUITAR
  • 2016年12月17日 04:48
  • 1261

【基础】使用Ansible连接AWS EC2

使用Ansible ad-hoc的方式连接AWS EC2
  • wendll
  • wendll
  • 2014年08月03日 20:46
  • 2179

基于Platinum库的DMS实现(android)

接上篇博文:基于Platinum库的DMR实现(android) 文章讲述了如何使用Platinum库实现DMR 今天同样使用该库,来讲解一下DMS的实现 关于该库如何编译,请参考这篇博文: ND...
  • geniuseoe2012
  • geniuseoe2012
  • 2013年08月09日 22:11
  • 11743

在命令行上调用notepad++

http://www.cnblogs.com/lihaozy/archive/2012/08/03/2621034.html Notepad++命令行参数 Note...
  • whatnamecaniuse
  • whatnamecaniuse
  • 2014年09月26日 11:32
  • 3854

对AWS的计费有点糊涂

对AWS的计费有点糊涂 今天收到亚马逊的账单,就两笔 1. US West (Oregon) Region     Elastic IP Addresses $0.005 per Ela...
  • tty521
  • tty521
  • 2017年02月05日 04:46
  • 2442

基于Platinum库的DMS实现(android)

下面给出运行效果图: 界面很简单,就是一些开关和设备名以及设备运行状态的展现 下面看看代码片段: JNI接口文件: [cpp] view plaincopy ...
  • dk822690a
  • dk822690a
  • 2015年02月11日 15:05
  • 318

DB2 表空间之SMS、DMS

SMS 表空间 简介 系统管理的空间(System Managed Space,SMS)表空间使用操作系统所提供的文件系统管理器来分配和管理表的存储空间。在 SMS 表空间内,每个容器都是...
  • huaxin520
  • huaxin520
  • 2013年05月28日 20:52
  • 3253
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:AWS DMS操作示例
举报原因:
原因补充:

(最多只允许输入30个字)