当使用亚马逊云服务器进行深度学习模型训练时,需要将数据集上传,相比使用 UI 界面上传,使用命令行方式具有更快的上传速率。
- 配置步骤
- 安装 aws cli 客户端: pip install awscli,安装完后输入 aws help 可以查看帮助信息。
- 添加账户:
- 登录网页版:https://console.aws.amazon.com/console/home
- 登录后右上角选择“我的安全凭证”,“创建访问密钥”,会生成访问密钥ID及访问密钥,
- Ubuntu 控制台进入路径 ~./aws,新建 config 及 credentials 文件。内容分别如下(其中 aws_access_key_id 及aws_secret_access_key 均由步骤 (2) 产生:
4. 配置完成后尝试常用命令操作。
2. 常用命令
在 Ubuntu 控制台下运行,以文件 xx.json 为例。
-
- 上传文件至s3: aws s3 cp /home/ww/xx.json s3://mybuckets/my-bucket/
- 上传文件夹: aws s3 cp /home/ww/test1 s3://mybuckets/my-bucket/ --recursive
- 列出当前文件: aws s3 ls s3://mybuckets/my-bucket/
- 删除文件: aws s3 rm s3://mybuckets/my-bucket/xx.json
- 删除文件夹: aws s3 rm s3://mybuckets/my-bucket//test2