使用gsutil下载atari数据集

已于 2024-06-14 13:15:01 修改
阅读量592 收藏 10
点赞数 8
文章标签： googlecloud 人工智能
于 2023-11-30 16:08:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wch1171215015/article/details/134714439
版权

背景

在做Decision Transformer的实验时，需要下载atari数据集，作者说要用gsutil。

gsutil

我一开始也不知道这是个啥，看名字应该是google storage工具的意思，可以用来和谷歌云进行交互。一开始以为使用gsutil要开通google cloud服务，还需要绑定信用卡啥的，十分麻烦。后来发现应该是存储要开通google cloud服务，只下载东西应该是有谷歌账号就行了。

下载安装

我是在windows上进行安装的。

参考的是谷歌官方的教程。

https://cloud.google.com/storage/docs/gsutil_install?hl=zh-cn#windows

先下载Google Cloud CLI 

https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe?hl=zh-cn

然后根据安装说明一步步操作。

之后会打开一个cmd，让你绑定谷歌账号，成功后，下载安装就算完成了。

设置代理

设置代理端口和地址

gcloud config set proxy/type http
gcloud config set proxy/address 127.0.0.1
gcloud config set proxy/port 7890

查看谷歌存储的数据

进入 https://console.cloud.google.com/

点击 Cloud Storage

点击右上角的前往路径

输入对应路径即可

下载数据集

比如这个命令就可以将谷歌云上的某个文件夹下载到本地当前文件夹中。

gsutil -m cp -R gs://atari-replay-datasets/dqn/Breakout ./

下载速度还可以。

JJJJerry666
关注
  • 8
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Google Cloud Storage（使用gsutil下载）
05-14
Google Cloud CLI安装包GoogleCloudSDKInstaller.exe
gsutil 下载谷歌云数据集，以Waymo数据集为例
Dbojuedzw的博客
02-18 5971
记录下载waymo数据集的过程记录下载waymo数据集的过程。
使用 gsutil 下载文件
最新发布
m0_54069693的博客
06-04 214
复现clip-goes-3d中通过GET3D得到渲染图片。一、下载google-cloud-sdk。使用 gsutil 下载文件。
Windows系统下gsutil 工具使用（下载waymo perception数据集为例）
冬泳乖鸽的博客
08-20 2840
Windows系统下gsutil 工具使用（下载waymo perception数据集为例）
【Gsutil】使用手册
Lyh1010的博客
01-11 5504
Gsutil使用手册
gsutil
04-01
最小的Google云存储cp 当您想使用Google云存储但没有python时 用法 gsutil cp < src> < dst> 桶装 echo " hi " | gsutil cp - gs://bucket/key gsutil cp ./key gs://bucket/key 从水桶 gsutil cp gs://bucket/key . gsutil cp gs://bucket/key - gsutil cp gs://bucket/key ./key.txt
gsutil 工具
随笔记录-分享&记忆
04-03 4718
gsutil 工具gsutilgsutil 命令 gsutil gsutil 是一个 Python 应用，该应用可让您通过命令行访问 Cloud Storage。您可以使用 gsutil 完成各种各样的存储分区和对象管理任务，包括： 创建和删除存储分区。 上传、下载和删除对象。 列出存储分区和对象。 移动、复制和重命名对象。 修改对象和存储分区 ACL。 gsutil 使用 HTTPS 和传输层安全协议 (TLS) 执行所有操作，包括上传和下载。 如需查看完整的指南列表，以了解如何使用 gsutil 完
gsutil:用于与云存储服务交互的命令行工具
08-04
gsutil gsutil 是一个 Python 应用程序，可让您从命令行访问 Google Cloud Storage。 您可以使用 gsutil 执行各种存储分区和对象管理任务，包括： 创建和删除存储桶。 上传、下载和删除对象。 列出存储桶和对象。 移动、复制和重命名对象。 编辑对象和存储桶 ACL。 安装 有关安装说明，请参阅： 测试/开发 gsutil 源代码位于 请参阅了解有关如何向 gsutil 存储库贡献代码更改的最佳做法。 帮助和支持 运行“gsutil help”命令以获取内置 gsutil 帮助主题的列表。 您还可以通过以下网址在线浏览帮助页面： 如需社区支持，请访问：
推荐使用：gsutil - 谷歌云存储的命令行工具
gitblog_00100的博客
05-16 388
推荐使用：gsutil - 谷歌云存储的命令行工具 项目地址:https://gitcode.com/GoogleCloudPlatform/gsutil 在数字时代，高效管理云端数据是至关重要的。gsutil 是一个由谷歌开发的Python应用，它为开发者和管理员提供了一种直接在命令行界面中与Google Cloud Storage交互的方式，从而实现对存储桶和对象的全方位管理。无论你是新手还是...
win10下python3.7安装gsutil从Google Storage for Developers下载数据
laicikankna的博客
06-07 3367
偶然之间，需要在Google Storage for Developers下载一些文件，由于有墙前期遇到一些困难，但是最后成功得有些简单。要是可以打开的话，可以看看官方下载说明了解更多GSUtil安装方式，本文只针对Windows使用pip安装gsutil。 网上有说法要用python2.x，不过我看官方说明也是支持3.x的，本文用的3.7。 本文以 gs://clusterdata-2011-2/为例。 查看文件夹下的内容gsutil ls gs://clusterdata-2011-2/； 将文件
batch_rl：Atari 2600游戏上的离线强化学习（又名批量强化学习）
02-19
离线强化学习的乐观观点（ICML，2020年） 该项目使用框架提供开放源代码实施，以运行提到的实验。 在这项工作中，我们使用DQN代理的记录的经验在脱机设置（即 ）中训练非策略代理（如下所示），而在训练过程中不与环境进行任何新的交互。 有关项目页面，请参考 。 如何在50M数据集上训练脱机代理而没有RAM错误？ 请参阅 。 DQN重播数据集（记录的DQN数据） DQN重播数据集的收集方式如下：我们首先在60款训练代理，并为2亿帧（标准协议）启用了，并保存（观察，动作，奖励，下一个）的所有体验元组。观察） （约5000万）。 可以在公共gs://atari-replay-datasets中找到此记录的DQN数据，可以使用下载。 要安装gsutil，请按照的说明进行操作。 安装gsutil之后，运行命令以复制整个数据集： gsutil -m cp -R gs://atari-rep
【Linux】使用gsutil工具批量下载谷歌云存储桶中的文件
weixin_59941945的博客
11-07 2043
如果发生这种情况，您可以在 PATH 环境变量中将 Cloud Storage 版 gsutil 移到前面，或者，您也可以在运行 Cloud Storage gsutil 时指定完整路径（例如 /home/users/joan/gsutil/gsutil ls）。复现github代码时有时作者会把一些比较大的文件(如数据集)放在谷歌云盘供大家下载，谷歌云盘一次只支持下载单个文件，如果作者数据集没有将数据集压缩上传下载很麻烦，这时可以用gsutil工具下载整个文件夹或多个文件夹。【方式2】使用安装包安装。
Centos安装gsutil
fall_hat的博客
12-27 872
Centos安装gsutil从Google Cloud Storage下载文件 yum install gcc openssl-devel python-devel python-setuptools libffi-devel yum install epel-release yum install python-pip pip install gsutil pip install -U gsu...
gsutil安装工具安装以及使用http代理下载
TH_NUM的博客
06-13 885
谷歌开源的模型下载： https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#lm-adapted-t511lm100kgsutil安装工具 https://cloud.google.com/storage/docs/gsutil_install#linux 配置 gcloud CLI 以在代理后面使用如何http 代理，需要设置gclound 代理....
谷歌云CDN存储 gsutil 安装及使用
隔壁老猪
08-21 7581
前言： 谷歌CDN资源文件上传我们一般通过gsutil这个工具，参考文档： https://cloud.google.com/storage/docs/gsutil/commands/config 一、安装python2.7 二、gsutil安装 [root@techroad ~]# wget http://commondatastorage.googleapis.com/pub...
谷歌云 gcloud 之gsutil基础用法
yx1127的博客
12-02 5129
gsutil. 命令用法 创建存储库 gsutil mb gs://cats gs://dogs 下载 gsutil cp gs://cats/*.jpg file://pets/ 上传文件 gsutil cp *.jpg gs://dogs gsutil cp file://c:/1/* gs://dogs 上传指定目录并设置所有文件为公开: ...
如何使用gsutil下载
fengsky_401的博客
09-02 508
ID和key见：https://stackoverflow.com/questions/38398066/gsutil-config-a-which-key-to-use。
linux安装atari环境实录
Make AI，Not War
12-08 2560
linux安装atari环境实录第一次尝试（失败）1.创建新环境2.cmake配置2.1 安装cmake2.2 安装zlib3.安装gym[atari]遇到的问题1.apt-get2.pip3.numpy版本不对的问题4.python版本不对的问题第二次尝试（成功版）1.创建新环境（python3.7）2.安装配置cmake（第一次已经完成，这里跳过）3.在新环境下安装numpy4.安装gym[atari]5.安装新版atari_py下载成功！！！！！ 第一次尝试（失败） 1.创建新环境 命令：conda
gsutil下载数据集
05-12
要使用 `gsutil` 下载数据集，您需要先安装 Google Cloud SDK 并进行身份验证。以下是下载示例： 1. 首先，打开终端窗口或命令提示符，并输入以下命令以安装 Google Cloud SDK： ``` curl https://sdk.cloud.google.com | bash ``` 2. 安装完成后，输入以下命令以登录和身份验证： ``` gcloud auth login ``` 3. 登录成功后，输入以下命令以下载数据集： ``` gsutil -m cp -r gs://your-bucket/your-dataset /path/to/local/directory ``` 其中，`your-bucket` 是存储数据集的 Google Cloud Storage 存储桶的名称，`your-dataset` 是要下载的数据集的名称，`/path/to/local/directory` 是您要将数据集下载到的本地目录的路径。 4. 下载完成后，您可以在本地目录中找到下载的数据集。 请注意，下载数据集可能需要一些时间，具体取决于数据集的大小和您的网络速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值