AWS DMS操作示例

原创 2017年01月03日 18:16:30


AWS DMS 操作示例

1.  概要

数据导入导出 AWS Database Migration Service

主页:https://aws.amazon.com/dms/

管理台:https://console.aws.amazon.com/dms/home

2.  主要的源、目标数据库产品

Source Database

Target Database on Amazon RDS

(be on-premises, or in Amazon RDS or EC2

(be ineither Amazon RDS or EC2

Microsoft SQL Server

Amazon Aurora, MySQL,PostgreSQL, MariaDB

MySQL and MariaDB

PostgreSQL

Oracle

Amazon Aurora, MySQL,PostgreSQL, MariaDB

PostgreSQL

Amazon Aurora, MySQL,MariaDB

Amazon Aurora

PostgreSQL

Oracle Data Warehouse

Amazon RedShift

Teradata

Amazon RedShift

Migration


SchemaConversion


Consolidation


Continuous DataReplication


Topics

Network Configurations

Sources

Targets

Schema Conversion

DataConversion - (Unsupported Data Types)

控制台主要任务

3. 步骤列表

Step 3.

高级选项

Step 4.



高级选项


表映射


Step 5.


状态变化:Creating → Ready → Starting → Load complete

执行


成功


以下log输出示例:

2016-10-19T07:43:46[TASK_MANAGER ]I: Task 'H45JHJOT42E2IDSBB6SZ43Z4RE' running full load only infresh start mode (replicationtask.c:805)

2016-10-19T07:43:46[TASK_MANAGER ]I: Creating threads for all components(replicationtask.c:1279)

2016-10-19T07:43:46[TASK_MANAGER ]I: All stream components were initialized(replicationtask.c:2110)

2016-10-19T07:43:46[TASK_MANAGER ]I: Starting subtask #1 (replicationtask_util.c:862)

2016-10-19T07:43:46[TASK_MANAGER ]I: Threads for all components were created(replicationtask.c:1425)

2016-10-19T07:43:46[TASK_MANAGER ]I: Task initialization completed successfully(replicationtask.c:2265)

2016-10-19T07:43:46[SOURCE_UNLOAD ]I: ODBC additional properties = '(null)'(mysql_endpoint_imp.c:605)

2016-10-19T07:43:46[SOURCE_UNLOAD ]I: Connecting to MySQL through ODBC connection string:DRIVER={MySQL ODBC 5.3 UnicodeDriver};SERVER=54.86.173.227;port=3306;UID=root;PWD=***;DB=;initstmt=SETtime_zone='+00:00';Option=74448900; (mysql_endpoint_imp.c:692)

2016-10-19T07:43:46[TARGET_LOAD ]I: Going to connect to ODBC connection string: DRIVER={MySQL ODBC5.3 Unicode Driver};SERVER=mydb-backup.cwsmnpiajkws.us-east-1.rds.amazonaws.com;PORT=3306;UID=root;(odbc_endpoint_imp.c:2094)

2016-10-19T07:43:46[TARGET_LOAD ]I: Target database time zone is UTC+0 hours(odbc_endpoint_imp.c:2660)

2016-10-19T07:43:46[TARGET_LOAD ]I: Transaction size is 10000. Array size is 1000.(odbc_endpoint_imp.c:823)

2016-10-19T07:43:46[TARGET_LOAD ]I: Loading tables in 1 parallel threads by default(odbc_endpoint_imp.c:1417)

2016-10-19T07:43:46[SOURCE_CAPTURE ]I: ODBC additional properties = '(null)'(mysql_endpoint_imp.c:605)

2016-10-19T07:43:46[SOURCE_CAPTURE ]I: Connecting to MySQL through ODBC connection string:DRIVER={MySQL ODBC 5.3 UnicodeDriver};SERVER=54.86.173.227;port=3306;UID=root;PWD=***;DB=;initstmt=SETtime_zone='+00:00';Option=74448900; (mysql_endpoint_imp.c:692)

2016-10-19T07:43:46[TASK_MANAGER ]I: Start loading table 'dms'.'test' (Id = 1) by subtask 1. Start load timestamp00053F32F81420DE (replicationtask_util.c:1028)

2016-10-19T07:43:46[SOURCE_UNLOAD ]I: Unload finished for table 'dms'.'test' (Id =1). 2 rows sent.(streamcomponent.c:2567)

2016-10-19T07:43:46[TARGET_LOAD ]I: Load finished for table 'dms'.'test' (Id =1). 2 rows received. 0 rows skipped. Volumetransfered 648 (streamcomponent.c:2787)

2016-10-19T07:43:46[TASK_MANAGER ]I: Table 'dms'.'test' (Id = 1) Loading finished by subtask1. 2 records transferred.(replicationtask.c:1639)

2016-10-19T07:43:46[TASK_MANAGER ]I: All tables are loaded. Full load only task is stopped(replicationtask.c:2522)

2016-10-19T07:43:51[TASK_MANAGER ]I: Subtask #1 ended (replicationtask_util.c:925)

2016-10-19T07:43:51[TASK_MANAGER ]I: Task management thread terminated(replicationtask.c:2679)

说明:

1. 以下测试的情况,针对的是MySQL的情况

2. “Extra connection attributes” 中输入 database 名字, 如”-D myDB” (不是必须)

3. 检查网络安全选项

4. 自定义 表映射 http://docs.aws.amazon.com/dms/latest/userguide/CHAP_Tasks.CustomizingTasks.TableMapping.html

版权声明: 举报

相关文章推荐

在AWS EC2上编译Caffe,并测试示例程序

在AWS EC2上编译Caffe,并测试示例程序 Caffe 1.0.0 1. 启动Ubuntu 14.04 EC2. 选择镜像版本 2. 进入虚拟机后,安装编译 Caffe 步骤,...

简化AWS CLI操作的jungle

github上最近有一个库叫jungle。 由于作者觉得官方的CLI命令太繁琐,命令行太长,于是做了一个参数类似于Linux命令的命令行工具。 地址 https://github.com/ach...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

aws 基本操作入门 (如何创建机器 如何扩容磁盘)

查看所有ec2的描述 aws ec2 describe-instance-status 查看所有的卷信息 aws ec2 describe-volumes 创建安全组 aws ec2 creat...

Boto3 操作AWS的SQS

SQS 介绍: Amazon Simple Queue Service (SQS) 是一项快速可靠、可扩展且完全托管的消息队列服务。Amazon SQS 可以简单、经济高效地解耦云应用程序的各个组件...

AWS3兼容青云对象存储操作类 JAVA单例模式

最近用到青云的对象存储,所以简单封装了一下。package com.tool.objectstoretool;import com.amazonaws.AmazonClientException; i...

阿里云 redis 后台 dms bug

引子dms 对某个 key 重命名时,忘记输入新的 key 了。然后不知道重命名 key 是什么。 找出重命名后的 key这里只说最简单的方式选择一个空的 db select 0 随便创建2个数据类...

Sitecore DMS 中自定义Rule 实现页面个性化

在Sitecore 的DMS 中,提供了丰富的个性化页面的功能。 用户通过配置不同的rule,来实现页面内容的个性化。在Sitecore中已经提供了许多rule,但在实际项目中,还是会遇到一些特定网站...

20120531 dms库及UI的临时代码

目前,已经搞清楚了ndk文件的编写及调用。如果JNI是cpp文件,则与c文件有所不同,需要用extern c处理一下。其他则无不同。 现在可以调到库中的函数,线程创建也正常,但是设备启动时出现了异常...

dms代码

/*  * date            20120510  * last author:    baojinyu  * usage:  ...

关于什么是DLNA, 什么是DMS的详细介绍

一.DLNA      DLNA(Digital Living Network Alliance) 由索尼、英特尔、微软等发起成立、旨在解决个人PC,消费电器,移动设备在内的无线网络和有线网络的互联互...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)