将 CIFAR-10 下载到本地计算机
指定用于保存下载的数据集的本地目录。以下代码在当前目录中创建一个文件夹,其中包含数据集中的所有图像。
directory = pwd;
[trainDirectory,testDirectory] = downloadCIFARToFolders(directory);
Downloading CIFAR-10 data set...done.
Copying CIFAR-10 to folders...done.
将本地数据集上传到 Amazon S3 存储桶
要在云中处理数据,您可以将数据上传到 Amazon S3,然后使用数据存储从群集中的工作进程访问 S3 中的数据。以下步骤说明如何将 CIFAR-10 数据集从本地计算机上传到 Amazon S3 存储桶。
1.为提高与 Amazon S3 之间传输文件的效率,请从 https://aws.amazon.com/cli/ 下载并安装 AWS 命令行界面工具。
2.将您的 AWS 访问密钥 ID、秘密访问密钥和存储桶区域指定为系统环境变量。请与 AWS 帐户管理员联系来获取密钥。
例如,在 Linux、macOS 或 Unix 上,指定以下变量:
export AWS_ACCESS_KEY_ID="YOUR_AWS_ACCESS_KEY_ID"
export AWS_SECRET_ACCESS_KEY="YOUR_AWS_SECRET_ACCESS_KEY"
export AWS_DEFAULT_REGION="us-east-1"
在 Windows 上,指定以下变量:
set AWS_ACCESS_KEY_ID=&