Colab上传大量图片数据时出现重复图片的问题

问题描述

运行时报错:
can’t find 756(1).jpg

原因发现

打开colab notebook工作文件夹,发现文件中有一些数据出现了重复。
认为应该是训练的文件加载时出了问题,出现了重复保存在工作文件夹中的情况。

  1. 查看本地解压的文件包,没有问题。
    怀疑是将本地加载的文件包上传到google drive的时候,因为文件太大他出现了重复。
  2. 查看Google drive上的文件,没有问题。
  3. 先手动删掉了本地工作文件夹中的重复数据,看是否会有其他问题:手动删除后问题解决了。
    经过查询:
    https://blog.csdn.net/u011304078/article/details/100079523
    上传大量的图片数据时,上传图片的数量有可能出错,比如上传了10000张图片,上传成功后显示“”成功上传10000张图片“ ,但是有可能上传了10020张,多了20张,这20张图是与原图片重复的。重复的名称后会加上(1)这样的命名方式。

尝试过程

既然是colab固有的弊端,那么通过代码的方式来解决。
除去目录下所有用(1)结尾的文件:
参考:
https://maoxian.de/2015/12/1362.html


                
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值