如何使用AWS CLI的S3命令下载数据集

1. 注册AWS账号

• 需要翻墙，保证翻墙的时候网络稳定。

• 要绑定一张信用卡，没有的话可以去借或者去淘宝租一个，最好自己有。

• 注册完还要短信或者电话认证。

2. 添加AWS用户

参考网址：如何创建AWS用户

3. 安装AWS CLI

参考网址：安装AWS CLI

• 安装pip和python

• 选择合适版本的AWS CLI MSI安装（同时安装）

验证安装结果

C:\> aws --version
aws-cli/1.16.67 Python/3.7.1 Windows/10 botocore/1.12.57
C:\Windows\System32> python --version
Python 3.7.1
C:\Windows\System32> pip --version
pip 18.1 from c:\program files\python37\lib\site-packages\pip (python 3.7)

4. 配置AWS CLI

1. 打开cmd

   aws configure

2. 根据添加用户时得到的秘钥进行配置

	AWS Access Key ID [None]: 第二步骤中的ID
	AWS Secret Access Key [None]:  第二步骤中的密钥
	Default region name [None]: us-west-2
	Default output format [None]: json

3. 查看和下载数据

	aws s3 ls  s3://spacenet-dataset/fmow/fmow-rgb/
	PS C:\WINDOWS\system32> aws s3 ls  s3://spacenet-dataset/fmow/fmow-rgb/
	                           PRE seq/
	                           PRE test/
	                           PRE train/
	                           PRE val/
	2018-03-31 01:19:48       1707 CHANGELOG.md
	2018-03-13 03:45:21     692697 IARPA-fMoW.pdf
	2018-03-26 23:26:20      15096 LICENSE
	2018-03-26 23:27:37       2461 README.md
	2018-03-31 01:41:24      27954 fMoW-rgb_seqandgt_v1.2.1.torrent
	2018-03-13 03:45:21      29241 fMoW-rgb_test_v1.0.0.torrent
	2018-03-13 03:45:21      55082 fMoW-rgb_trainval_v1.0.0.torrent
	2018-03-13 03:45:21    2871653 fMoW-rgb_val_sample_v1.1.0.torrent
	2018-03-31 01:18:49  245218563 groundtruth.tar.bz2
	2018-03-31 01:18:21    4630040 manifest.json.bz2
	2018-03-13 10:06:05    2426457 val_false_detection_metadata.tar.bz2
	

下载数据

	aws s3 cp s3://spacenet-dataset/fmow/fmow-rgb/ e://fmow-rgb --recursive