解决使用gsutil cp命令出现的 tuple index out of range CommandException: 1 file/object could not be transferred

最新推荐文章于 2024-05-14 21:28:58 发布
最新推荐文章于 2024-05-14 21:28:58 发布
阅读量438 收藏 1
点赞数
分类专栏： 笔记 文章标签： big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43872529/article/details/126755057
版权

1. 问题描述

通过 gsutil -m cp -r [gs_link] local_dir 命令获取google cloud的数据时出现错误：

tuple index out of range 
CommandException: 1 file/object could not be transferred

2. 解决办法

使用 gcloud alpha storage cp 代替 gsutil -m cp 即可。


参考链接：https://github.com/deepmind/alphafold/issues/545

不乏希望
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
谷歌云 gcloud 之gsutil基础用法
yx1127的博客
12-02 5217
gsutil. 命令用法 创建存储库 gsutil mb gs://cats gs://dogs 下载 gsutil cp gs://cats/*.jpg file://pets/ 上传文件 gsutil cp *.jpg gs://dogs gsutil cp file://c:/1/* gs://dogs 上传指定目录并设置所有文件为公开: ...
gsutil
04-01
最小的Google云存储cp 当您想使用Google云存储但没有python时 用法 gsutil cp < src> < dst> 桶装 echo " hi " | gsutil cp - gs://bucket/key gsutil cp ./key gs://bucket/key 从水桶 gsutil cp gs://bucket/key . gsutil cp gs://bucket/key - gsutil cp gs://bucket/key ./key.txt
Google Cloud Storage（使用gsutil下载）
最新发布
qq_47821607的博客
05-14 334
使用 Cloud 控制台只能下载单个对象。若要一次下载一个文件夹或多个对象，可以使用 gsutil 命令行工具为所选资源运行对应代码
【Gsutil】使用手册
Lyh1010的博客
01-11 5743
Gsutil使用手册
【Linux】使用gsutil工具批量下载谷歌云存储桶中的文件
weixin_59941945的博客
11-07 2381
如果发生这种情况，您可以在 PATH 环境变量中将 Cloud Storage 版 gsutil 移到前面，或者，您也可以在运行 Cloud Storage gsutil 时指定完整路径（例如 /home/users/joan/gsutil/gsutil ls）。复现github代码时有时作者会把一些比较大的文件(如数据集)放在谷歌云盘供大家下载，谷歌云盘一次只支持下载单个文件，如果作者数据集没有将数据集压缩上传下载很麻烦，这时可以用gsutil工具下载整个文件夹或多个文件夹。【方式2】使用安装包安装。
gsutil 下载谷歌云数据集，以Waymo数据集为例
Dbojuedzw的博客
02-18 6260
记录下载waymo数据集的过程记录下载waymo数据集的过程。
gsutil:用于与云存储服务交互的命令行工具
08-04
您可以使用 gsutil 执行各种存储分区和对象管理任务，包括： 创建和删除存储桶。 上传、下载和删除对象。 列出存储桶和对象。 移动、复制和重命名对象。 编辑对象和存储桶 ACL。 安装 有关安装说明，请参阅： ...
google-store-reports:从Google Play下载CSV报告（使用gsutil），并创建一个SQL脚本以将数据插入数据库中
05-19
使用gsutil和ruby脚本从Google Play下载统计报告。 如果需要从Apple Store下载数据的工具，请在检查项目。 要求 Ruby> = 1.9 在开始之前 确保已在计算机中安装并配置了gsutil。 为此，请按照的步骤进行操作，或更...
object_detection:城市环境中的目标检测
04-01
项目概况 在此项目中，我们使用来创建卷积神经网络以检测和分类对象。 这是通过以下步骤完成的，例如数据获取和...放入容器后，您将需要安装gsutil，可以通过运行以下命令轻松完成此操作： curl https://sdk.cloud.g
waymo数据集下载
artistkeepmonkey的博客
05-03 1490
下载waymo数据集下载报错，gsutil不能使用怎么办？
waymo open dataset v2.0.0 (Perception dataset) 大小
C_C666的博客
01-30 460
【代码】waymo open dataset v2.0.0 (Perception dataset) 大小。
如何使用gsutil下载
fengsky_401的博客
09-02 538
ID和key见：https://stackoverflow.com/questions/38398066/gsutil-config-a-which-key-to-use。
Google Earth Engine（python）——卷积神经网络第 2 部分
qq_31988139的博客
11-01 1054
在上一篇文章中，我们将数据导出到 Google Cloud Storage。在这篇文章中将读取数据并使用数据运行模型。有很多使用 colab 的例子。在这里，我们专注于在您的 PC 或服务器上训练您的模型。 从 gcp 存储桶下载数据。 使用 gsutil 将文件复制到您电脑上选择的文件夹中 gsutil -m cp -r gs://wfpbucket/l8Records myoutput/data/folder 安装 tensorflow python 包。请注意，如果您的系统具有强大的 G.
gsutil下载失败如何恢复下载
发布工作学习过程中遇到的问题和解决方案
06-01 1371
使用gsutil下载过程中，由于网络等因素导致下载失败，通常情况下会报出如下错误，但是并没有给出具体哪些文件失败，这应该如何解决呢？
gsutil用法记录
weixin_30750335的博客
04-08 1964
gsutil用法记录 批量设置文件访问控制权限 ./gsutil -m setacl act.txt gs://bucket/** 多线程批量设置文件访问控制权限If you have a large number of ACLs to update you might want to use the gsutil -m o...
ubuntu gsutil
10-08
在Ubuntu上安装和使用gsutil是管理Google Cloud Storage的推荐方法。以下是在Ubuntu上安装和配置gsutil的步骤： 1. 安装Python：如果您的系统上没有Python，请先安装Python。在终端中运行以下命令安装Python 2.7和pip： ``` sudo apt-get update sudo apt-get install python2.7 sudo apt-get install python-pip ``` 2. 安装gsutil：通过运行以下命令来安装gsutil： ``` sudo apt-get install curl curl https://sdk.cloud.google.com | sudo bash exec -l $SHELL gcloud init ``` 3. 配置gsutil：通过运行以下命令来配置gsutil： ``` gsutil config ``` 4. 配置认证：在配置gsutil时，您将被要求进行身份验证并创建一个新的Google Cloud项目。按照提示进行操作，以完成身份验证和项目创建。 5. 使用gsutil：安装和配置完成后，您可以使用gsutil命令与Google Cloud Storage进行交互。例如，要列出存储桶中的对象，可以运行以下命令： ``` gsutil ls gs://bucket-name ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值