mysql转amazon dynamodb_将数据从MySQL复制到Amazon DynamoDB

AWS有两项服务可以帮助您执行该操作 .

数据管道

带有Hive的

EMR集群

Data Pipeline

一个非常简单的方法 - 如果你的“模式”相似(我总是觉得谈论DynamoDB的模式很尴尬) - 将从MySQL导出到S3，然后从S3导入到DynamoDB .

Data Pipeline有两个教程可帮助您设置任务

您可以通过开发执行导入和导出的单个管道来进一步改进此过程 . 如果需要在导入和导出之间转换数据，则需要开发转换代码并从管道执行 .

数据管道还允许您以固定的时间间隔安排执行 .

Hive and EMR

Hive是一个编写SQL命令来操作数据源的hadoop工具 . Hive在集群上运行的Hadoop应用程序中转换SQL . 您可以在AWS Elastic Map Reduce Cluster(托管服务hadoop集群)上运行Hive .

EMR上的Hive可以连接到非关系数据源，例如S3或DynamoDB数据库上的文件 . 它允许您在DynamoDB上编写SQL语句！

在您的用例中，您需要编写一个Hive脚本，该脚本将从MySQL读取并写入DynamoDB . 您可以使用标准(Hive)SQL表达式转换数据 .