aws s3数据迁移到阿里云oss中的解决方案—ossimport

由于工作需求，原来在aws云上跑的任务需要迁移到阿里云上，那么就需要将原来在aws的s3上存的历史数据转移到 阿里的oss中，这里迁移阿里云提供了一套非常优秀的工具ossimport，专门用来将别的云的数据迁移到oss中的，
ossimport 主要支持
#同步源类型，目前支持：
#1.local(本地文件，此选项只需要填写srcPrefix，不需要填写srcAccessKey，srcSecretKey，srcDomain，srcBucket)
#2.oss(从oss的一个bucket迁移到另一个bucket)
#3.qiniu(七牛)
#4.bos(百度的云存储)
#5.ks3(金山的云存储)
#6.s3(亚马逊s3)
#7.youpai(又拍云，又拍云获取文件列表的接口比较特殊，在同步时list不支持断点，因此在list没有完成时杀掉同步进程会导致下次会重新全部list文件列表)
#8.http (通过提供的http链接列表同步数据，此选项不需要填写srcAccessKey，srcSecretKey，srcDomain，srcBucket，srcPrefix）
#9.cos(腾讯云)
#10.azure(微软blob)
而我这次主要是将s3的数据迁移到oss上，废话不多说直接开整
1.准备
能够连接s3的 aksk
能够连接阿里的aksk
到一个Linux能够连接外网的linux机器上

#创建 ossimport文件夹
mkdir ossimport
#进入 ossimport 文件夹
cd ossimport
#下载ossimport程序包
# 下载解压
wget http://gosspublic.alicdn.com/ossimport/standalone/ossimport-2.3.1.zip
unzip ossimport-2.3.1.zip
修改配置
vi /conf/local_job.cfg

修改完如截图

至此配置完成

#回到ossimport根目录
#
sh import.sh

就会看到有日志打印，输入yes 几次
就开始打印日志
例如：

查看oss brower
截图如下：

文件已经进来了，至此 转移完成，就等待程序结束了