Aws Dynamodb数据导出到S3

翻译 2014年12月19日 11:55:21
本节将描述如何从一个或多个DynamoDB的表导出数据到S3的bucket中。在执行导出之前你需要提前创建好S3的bucket。
注意
如果你还没有使用过AWS Data Pipeline,在执行下面的流程前你需要先去创建两个IAM roles。更多信息,请移步 Creating IAM Roles for AWS Data Pipeline
从DynamoDB中导出数据到S3
  1. 登陆到AWS管理员控制台,打开DynamoDB console。 https://console.aws.amazon.com/dynamodb/.
  2. 在 Amazon DynamoDB Tables 页面, 点击 Export/Import.
  3. Export/Import 页面, 选择你想导出的表,然后点击 Export from DynamoDB.
  4. 在 Create Export Table Data Pipeline(s) 页面,按下面流程操作:
    1. 在 S3 Output Folder 文本框中填写 Amazon S3 URI,导出文件将存放在S3中相应的文件夹下。例如: s3://mybucket/exports
      这个URI的规则应该是这样 s3://bucketname/folder :
      • bucketname 是S3中bucket的名称
      • folder 表示此bucket下文件夹的名称。如果这个文件夹不存在,它将被自动创建。如果你不指定这个名称,它将被自动授予一个名字,名字的规则是: s3://bucketname/region/tablename.
    2. S3 Log Folder 文本框中输入一个S3 URI,导出过程的日志将被存储在相应的folder中。例如:s3://mybucket/logs/
      S3 Log Folder URI的格式和 S3 Output Folder的格式相同。
    3. 在 Throughput Rate 文本框中可选择一个百分比。这个比率表示在导出过程中会消耗读吞吐量的上限。例如,假设你要导出的表的读吞吐量是20,同时你设置的百分比是40%。那么导出时所消耗的吞吐量将不会超过8.
      如果你在导出多个表,这个 Throughput Rate 将会被应用到每个表中。
    4. Execution Timeout 文本框,输入导出任务的超时时长。如果导出任务在这个时长内还没执行完成,此任务会失败。
    5. Send notifications to 文本框,输入一个email地址。在 pipeline被创建后,你将会收到一封email邀请订阅Amazon SNS;如果你接受了此邀请,在每次执行导出操作时你都将会收到email通知。
    6.  Schedule 选项,选择下面其中一项:
      • One-time Export —导出任务将在pipeline被创建后立即执行。
      • Daily Export — 导出任务将会在你所指定的时刻执行,同时会在每天的那个时刻重复。
    7. Data Pipeline Role, 选择 DataPipelineDefaultRole.
    8. Resource Role, 选择 DataPipelineDefaultResourceRole
  5. 确认好以上设置然后点击 Create Export Pipeline.
你的 pipeline 现在将被创建;这个过程可能会花费几分钟完成。要查看当前状态,移步 Managing Export and Import Pipelines.
如果你选择的Schedule是 one-time export,导出任务将在pipeline 创建成功后立即执行。如果你选择的是daily export,导出任务将会在指定时刻执行,同时会在每天的那个时刻执行导出任务。
当导出任务结束,你可以到 Amazon S3 console 来查看导出文件。这个文件将会在以你的表名命名的文件夹中,而文件名将会是这种格式: YYYY-MM-DD_HH.MM。文件内部结构会在Verify Data Export File 中描述。

Data Migration to AWS RDS - 数据库迁移总结

迁移数据到RDS中的一些问题和解决方法
  • knight_zhen
  • knight_zhen
  • 2015年09月14日 16:35
  • 6225

AWS RDS 介绍 六)快照 Snapshot 七)S3存储

AWS RDS 介绍 共分为 7 个部分, 其中 第 3部分重点介绍,如何创建一个RDS 实例(http://blog.csdn.net/xuyongshi02/article/deta...
  • XuYongshi02
  • XuYongshi02
  • 2017年01月03日 17:46
  • 1484

aws的rds导出问题

aws的rds因为不能做slave,所以在导出的时候需要使用下面的命令 /usr/local/mysql-5.6.21/bin/mysqldump -h xxx -Pxxx -u root -p –...
  • aoerqileng
  • aoerqileng
  • 2016年09月29日 17:49
  • 534

AWS RDS上创建、连接、备份、删除mysql实例

AWS提供了2种数据库,RDS和DynomoDB,前者是传统的关系型数据库,目前包括Mysql,PostgrepSQL, Oracle和 MS SQL; 后者是NoSQL; 豆子以MySQL为例,把A...
  • wolfjin
  • wolfjin
  • 2017年02月15日 08:27
  • 2184

使用AWS Data Pipeline处理数据

Data Pipeline的主角是数据。 AWS上提供了多种服务来存储、处理数据,S3,EMR,Redshift,RDS,DynamoDB。 Pipeline就是帮用户在这么多种数据源上进行处理。...
  • aws0to1
  • aws0to1
  • 2015年08月27日 17:51
  • 2604

Aws Dynamodb数据导出到S3

本节将描述如何从一个或多个DynamoDB的表导出数据到S3的bucket中。
  • sweetvvck
  • sweetvvck
  • 2014年12月19日 11:55
  • 2504

Python实现备份EC2的重要文件和MySQL数据库到S3

今天尝试了使用boto这个工具来用python备份文件到S3,废话不说,上代码: 1. 备份重要文件到S3: import os connected = 0 def connect(): ...
  • quicktest
  • quicktest
  • 2012年08月30日 17:04
  • 4635

AWS dynomodb 和 AWS CLI本地使用

本地使用dynamodb 下载Dynamodb到本地,如下是下载地址: .tar.gz 格式:http://dynamodb-local.s3-website-us-west-2.amazonaws...
  • yshxjoy
  • yshxjoy
  • 2016年11月17日 10:49
  • 1182

DynamoDB常见问题

什么是 DynamoDB 问:什么是 Amazon DynamoDB?Amazon DynamoDB 是一项完全托管的 NoSQL 数据库服务,提供快速而可预测的性能,能够实现无缝扩展。使用 Amaz...
  • m0_37204491
  • m0_37204491
  • 2017年06月01日 10:32
  • 1970

AWS RDS 介绍 一)相关产品 二). 用户手册

AWS RDS 介绍 共分为 7 个部分, 其中 第 3部分重点介绍,如何创建一个RDS 实例。 一) DB 相关产品 https://aws.amazon....
  • XuYongshi02
  • XuYongshi02
  • 2017年01月03日 16:32
  • 541
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Aws Dynamodb数据导出到S3
举报原因:
原因补充:

(最多只允许输入30个字)