【容灾实战】体验华为云对象存储迁移工具OMS迁移其他云平台上的对象存储文件

【实验目的】
据说华为云对象存储OMS服务的复制功能挺牛逼的，能够在线复制其他云上的对象存储文件，体验一下效果如何。
对象存储适合存放非结构化数据，如图片、视频、文件等等。用文本文件测试一下效果。

【思路】
1、在腾讯云对象存储COS上创建一个标准存储桶。
2、通过python写一个爬虫脚本，爬取糗事百科网站上第一页的笑话，每个笑话作为一个文件，调用腾讯的SDK接口自动存放到腾讯云对象存储COS中。
3、使用华为云对象存储服务OMS将腾讯云对象存储COS中的笑话文件在线复制到华为云，观察路径结构是否相同。
4、通过python脚本，分别调用腾讯云和华为云上的SDK接口，将所有笑话读出来，并分别保存到一个文件中。通过beyondcompare工具对比内容是否一致。
5、python爬虫程序继续爬取第二页的笑话并上传至腾讯云的对象存储COS中，检查笑话文件是否从腾讯云同步到华为云上。
6、重复步骤4，检查对象存储中增量部分内容是否一致。

【操作步骤】
1、编写python爬虫代码，将糗事百科上主页第一页笑话爬取到本地，存放为文件。Python爬虫代码参考后文。爬虫脚本运行结果和文件生成情况如下。

2、在腾讯云创建测试桶和测试目录，OK。

3、安装腾讯云对象存储COS的SDK插件。本文测试的爬虫脚本在笔记本的windows环境上运行，在笔记本上的命令行中执行命令“pip install -U cos-python-sdk-v5”
4、在腾讯云的控制台-访问管理-云API密钥-API密钥管理-新密钥。记录好appid和密钥，后续SDK API调用需要通过密钥验证调用者的身份和权限。

5、python爬虫获取的笑话，不用在本地生成文件了，直接写入到对象存储的指定文件夹“糗事百科笑话”的文件中。篇幅有限，这里截图值包含了部分文件列表。这部分代码见附录1

6、在华为云上创建一个OBS桶，并下载华为云的访问密钥。

7、启动华为云对象存储OMS服务，根据提示输入腾讯云和华为云的桶信息。

8、选择指定迁移文件夹“糗事百科笑话”。

9、迁移完成，到华为云对象存储OBS中检查，文件夹“糗事百科笑话”和下级的笑话文件已经全部拷贝过来。华为云目前暂只支持按修改时间进行排序，不支持按照文件名，对比起来不方便。后面用第三方工具beyondcompare进行专项对比数据一致性。

10 、安装华为云对象存储OBS的python版本SDK工具，步骤参考：帮助中心 >