通过处理openimages v4遇到的问题总结

需要对google最新发布的openiamges v4数据集进行下载并处理。

1、下载

下载遇到的一些问题:openiamges v4数据集官网:https://storage.googleapis.com/openimages/web/index.html。

数据集主要有两个:一个是带boudingbox的数据集561G,一个是主要用于分类的数据集:18T。


Bounding Boxes (600 classes) 561G

下载方法官网上提供了两种:

1、在Figure Eight上下载

下载地址:https://www.figure-eight.com/dataset/open-images-annotated-with-bounding-boxes/

亲测,下载速度几百KB而且经常中断,放弃。

2、在CVDF上下载

在github上的下载方法和说明地址:https://github.com/cvdfoundation/open-images-dataset#download-images-with-bounding-boxes-annotations

需要安装google cloud storage bucket 的 gustil,官方安装教程地址:https://cloud.google.com/storage/docs/gsutil_install

安装完之后,按照教程登录下载就可以:

  1. gcloud auth login [your_mail_account]
  2. gsutil -m rsync -r gs://open-images-dataset/train [target_dir/train] (513GB)
    gsutil -m rsync -r gs://open-images-dataset/validation [target_dir/validation] (12GB)
    gsutil -m rsync -r gs://open-images-dataset/test [target_dir/test] (36GB) 

Image-Level Labels (19,995 classes) 18T

这个数据集只能通过CVDF下载,由于需要收费,空间也很大,还没下载......

2、下载Bouding Box数据集后的处理:

1、按照需求将数据集中包含标注框信息,类别信息的csv文件转化成VOC的xml格式

3、处理数据集用到的linux命令

1、生成trainval.txt test.txt 需要用到的随机提取文件名命令:shuf -n100 trainval.txt >2.txt 把 trainval.txt 中随机的100行提取到val.txt

2、对一个文件夹下的文件进行文件进行名字提取:

包含扩展名:ls -1 | grep ".jpg$" > /home/2.txt          ls | grep ".jpg" > /home/2.txt

不包含扩展名:

3、将2中提取的包含扩展名的.txt里的扩展名去掉、数据集中xml的标签进行替换,可以写成脚本:

#!/bin/sh 

sed -i "s/A/B/g" *.xml 把文件夹下xml文件中的字符串A,换成B。

文件数量较大时 find  /media/test/1/ -name "*.txt" | xargs  sed -i "s/1/2/g"

4、批量修改文件后缀名:

 find ./ -name "*.c" | awk -F "." '{print $2}' | xargs -i -t mv ./{}.c  ./{}.h

5'移动文件夹内大量数据:

首先要要进入文件夹目录dir1 在dir1目录下执行

ls dir1 | xargs -t -I {} mv {} dir2/{}

例如 ls /media/JPEGImages/validation_JPEGImages | xargs -t -I {} mv {} /media/JPEGImages/{}

find source/ -name  "*.txt" | xargs -i mv {} target/


阅读更多
上一篇tesseract 遇到的一些问题
下一篇配置pvanet遇到的问题
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭