使用AWS CLI的s3命令下载数据集

最新推荐文章于 2023-11-25 07:57:15 发布
最新推荐文章于 2023-11-25 07:57:15 发布
阅读量4.9k 收藏 9
点赞数 4
分类专栏： 学习笔记 科研经验 NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39712314/article/details/109313218
版权
学习笔记 同时被 3 个专栏收录
34 篇文章 3 订阅
订阅专栏
科研经验
3 篇文章 0 订阅
订阅专栏
NLP
3 篇文章 0 订阅
订阅专栏

文章目录

1. 数据集链接：

https://registry.opendata.aws/amazon-reviews-ml/

2. 注册AWS账号：

https://aws.amazon.com/cn/

3. 创建组group：

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
最后完成即可。

4. 创建用户user

在这里插入图片描述
点击用户：
在这里插入图片描述
add user:
在这里插入图片描述
在这里插入图片描述
add user to group
在这里插入图片描述

next后直接创建即可。

查看，后续需要使用到红色框出的id和key
在这里插入图片描述

5. 安装AWS CLI

https://docs.aws.amazon.com/cli/latest/userguide/install-cliv2-windows.html
下载：For the latest version of the AWS CLI: https://awscli.amazonaws.com/AWSCLIV2.msi
安装后cmd中检查，出现结果即安装成功：
在这里插入图片描述

6. 配置AWS CLI

这几个按照之前的id和key输入，然后后两个直接回车即可。
在这里插入图片描述

7. 命令行下载数据集：

注意命令的使用，需要更多信息，去官网看教程即可。
在这里插入图片描述

kukufufu
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
hrsc2016 下载 数据集_aws CLI 下载数据集踩坑指南
weixin_30195669的博客
12-29 574
由于aws提供了一些优质数据集,如下：Registry of Open Data on AWS​registry.opendata.aws然后下载这些数据集就成为科研理所当然的事情。然后接下来坑的地方就来了……（我是义愤填膺地写下了这篇文章，希望能够帮助大家……）首先是下载aws CLI：AWS Command Line Interface​aws.amazon.com这个就根据自己使用的平台，下...
AWS S3存储桶中如何下载文件
最新发布
xianyinsuifeng的博客
06-07 1080
AWS S3 控制台提供了下载单个文件的功能，但是不支持直接在控制台中进行批量下载文件。2.1可以使用 AWS 的命令行界面（CLI）来批量下载 AWS S3 存储桶中的文件。1.5找到您要下载的文件，右键单击该文件。2.2使用WinSCP工具下载【推荐】输入AWS_KEY和AWS_SECRET即可。2.3 选在传送模式：Amazon S3。1.1登录 AWS 管理控制台。1.3单击您要下载文件的存储桶。1.6从弹出菜单中选择“下载”。1.4导航到文件所在的文件夹。1.2转到 S3 服务页面。
如何使用AWS CLI的S3命令下载数据集
asdfghjvn的博客
03-24 8168
1. 注册AWS账号 需要翻墙，保证翻墙的时候网络稳定。 要绑定一张信用卡，没有的话可以去借或者去淘宝租一个，最好自己有。 注册完还要短信或者电话认证。 2. 添加AWS用户 参考网址：如何创建AWS用户 3. 安装AWS CLI 参考网址：安装AWS CLI 安装pip和python 选择合适版本的AWS CLI MSI安装（同时安装） 验证安装结果 C:\> ...
获取并安装AWS CLI应用程序
jackson_lingua的博客
10-20 329
aws cli应用程序，是开发aws云计算应用的实用程序。本文简要介绍如何获取和安装aws cli.
AWS S3 - 从S3下载数据
SAGGITARXM
07-22 3866
代码示例： import os import sys import traceback import requests import json import socket import boto3 import time import threadpool from datetime import timedelta, datetime from loguru import logger tp_size = 80 # 线程池大小 count_interval = 206 # 批处理数量 thi
如何从S3下载文件
2301_76391421的博客
05-14 3437
其中，`bucket-name`是您要下载文件的S3存储桶的名称，`path-to-file`是文件在存储桶中的路径，`local-file-path`是文件下载到本地计算机的路径。您可以使用AWS CLI或AWS SDK来从S3下载文件。1. 安装AWS CLI并配置您的访问密钥和密钥ID。请注意，您需要具有适当的S3访问权限才能下载文件。文件将从S3存储桶下载到您的本地计算机。4. 按Enter键运行命令。2. 打开终端或命令提示符。
AWS CLI 安装
Peter__Li的博客
03-03 600
1.登录AWS CLI官方网站下载并安装。 （PS：此处以CLI版本2为例，版本1与版本2的区别主要是版本迭代区别，版本2相对版本1来说比较新，新特性也更多，因此在此我采用了版本2） 2.下载后傻瓜式安装 按照提示下一步安装即可。 3.调出命令行Win+R 输入CMD 键入 “aws”和“aws --version”查看安装是否成功 ...
利用AWS下载SpaceNet数据集
01-07
问题描述：下载SpaceNet的数据集，通常需要使用AWS服务器下载 解决方法： 具体可参考官方文档 https://docs.amazonaws.cn/cli/latest/userguide/cli-services-s3-commands.html 比较详细的博文 ...
（二）使用AWS CLI2将 Amazon S3 与 Amazon EC2 结合使用
weixin_51406514的博客
07-26 631
AWS Command Line Interface (AWS CLI) 是一种开源工具，让您能够在命令行 Shell 中使用命令与 AWS 服务进行交互。AWS Management Console 中的所有 IaaS（基础设施即服务）AWS管理和访问函数均可以在 AWS API 和 AWS CLI 中获取。AWS CLI 提供对 AWS 服务的公共 API 的直接访问。 aws --version 在shell中运行查看版本 在 Linux 上安装、更新和卸载 AWS CLI 版本 ...
配置 aws cli_AWS CLI教程–如何安装，配置和使用AWS CLI了解您的资源环境
cumi7754的博客
08-19 2635
配置 aws cliHow to get exactly the account and environment information you need to manage your AWS account using just the AWS CLI 如何仅使用AWS CLI准确获取管理AWS账户所需的账户和环境信息 Installing the AWS CLI is actually qu...
亚马逊s3存储： aws cli上传工具速度和各文件大小关系探究
hehe的专栏
07-17 2622
1，背景介绍 公司最近最近统一了存储环境，由ftp文件存储全量转换为ceph存储。有业务组表示以前往ftp文件批量上传30万个文件1.3GB只需要16分钟左右。切换为ceph存储需要1个多小时，也就是现在现有的速度只有369kb/s。询问能如何改进。 公司内部网络和存储环境进行了压力测试。 ceph 存储系统调研读写性能测试的报告如下 我们是采用s3的接口进行文件上传的，也就是对于上面的cep...
AWS CLI使用教程
12-03
教程是aws cli命令的使用文档，AWS CLI 是一个在 AWS SDK for Python (Boto) 之上构建的开源工具，可提供与 AWS 服务交互的命令。仅需最小的配置，您就可以从您喜爱的终端程序开始使用 AWS 管理控制台提供的所有功能。简洁明了
bash-aws-cmds:用于 bash 的 awscli 工具
06-22
2. **数据处理**：可以方便地上传、下载 S3 存储桶中的文件，进行数据迁移或备份。 3. **配置管理**：例如 IAM 用户和策略的管理，VPC 和安全组的配置。 4. **监控和日志**：获取 AWS 资源的监控数据，如 CloudWatch...
aws S3 CLI 命令行的安装
xiakaiphp的博客
01-17 841
下载地址 https://aws.amazon.com/cn/cli/ 下载后安装 AWSCLI64.msi 配置 命令行中输入(下载安装后即为全局控制) aws configure 配置key https://console.aws.amazon.com/iam/home?region=eu-west-2#/security_credentials AWS Access Key ID [...
aws无账号下载的命令行
ylfmsn的博客
02-01 864
aws无账号下载资源
AWS-CLI-Version1离线安装
qq_40246989的博客
06-15 380
AWS-CLI-Version1离线安装 参考链接：https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/install-cliv1.html AWS-CLI-Version1离线安装包路径：https://s3.amazonaws.com/aws-cli/awscli-bundle.zip 先决条件： 1)：Linux 或 macOS 2)：Python 2 版本 2.7+ 或 Python 3 版本 3.4+ 安装过程：先将下载下来的awscli离
使用awscli下载存储桶
uevol14的博客
08-03 854
1、安装easy_install 或者pip (1)安装easy_install # yum install python-setuptools (2)安装pip # easy_install pip 2、安装awscli # easy_install awscli 或者 pip install awscli 3、配置awscli 对于一般用途，aws
aws s3 bucket 下载文件失败
SinkRain
06-03 2974
文章目录描述原因解决 描述 使用 aws cli命令行下载文件时出错 # aws s3 cp --recursive s3://xxxx.xxx.com xxx.xxx.com fatal error: An error occurred (IllegalLocationConstraintException) when calling the ListObjectsV2 operation: The unspecified location constraint is incompatible for
【Amazon】安装卸载AWS CLI操作流程（Windows 、Linux系统）
宝耶需努力的技术分享博客
11-25 1887
AWS 命令行界面（AWS CLI）是用于管理 AWS 产品的统一工具。只需要下载和配置一个工具，您就可以使用命令行控制多个 AWS 产品并利用脚本来自动执行这些服务。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值