AWS有两项服务可以帮助您执行该操作 .
数据管道
带有Hive的
EMR集群
Data Pipeline
一个非常简单的方法 - 如果你的“模式”相似(我总是觉得谈论DynamoDB的模式很尴尬) - 将从MySQL导出到S3,然后从S3导入到DynamoDB .
Data Pipeline有两个教程可帮助您设置任务
您可以通过开发执行导入和导出的单个管道来进一步改进此过程 . 如果需要在导入和导出之间转换数据,则需要开发转换代码并从管道执行 .
数据管道还允许您以固定的时间间隔安排执行 .
Hive and EMR
Hive是一个编写SQL命令来操作数据源的hadoop工具 . Hive在集群上运行的Hadoop应用程序中转换SQL . 您可以在AWS Elastic Map Reduce Cluster(托管服务hadoop集群)上运行Hive .
EMR上的Hive可以连接到非关系数据源,例如S3或DynamoDB数据库上的文件 . 它允许您在DynamoDB上编写SQL语句!
在您的用例中,您需要编写一个Hive脚本,该脚本将从MySQL读取并写入DynamoDB . 您可以使用标准(Hive)SQL表达式转换数据 .