Imagenet数据集训练集验证集解压处理

imagenet下载及训练

imagenet 种子

迅雷打开
验证集
http://academictorrents.com/download/5d6d0df7ed81efd49ca99ea4737e0ae5e3a5f2e5.torrent
训练集
http://academictorrents.com/download/a306397ccf9c2ead27155983c254227c0fd938e2.torrent

 数据集处理：

下载后得到2个 .tar 文件，为了防止文件损坏，使用md5校验

验证集校验：

md5sum ILSVRC2012_img_val.tar

应得到：29b22e2961454d5413ddabcf34fc5622

训练集校验：

md5sum ILSVRC2012_img_train.tar

应得到：1d675b47d978889d74fa0da5fadfb00e

 

解压缩数据集放置到 train/val 文件夹中并整理：

统计图片数量可用如下命令：

cnt=0; for f in `ls`; do cd $f; cur=`ls|wc -l`; cnt=`expr $cnt + $cur`; cd ..; done; echo $cnt

验证集

wget https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh

解压 mkdir val && tar -xvf ILSVRC2012_img_val.tar -C val

整理成文件 mv valprep.sh val && cd val && bash valprep.sh

其中用到的 valprep.sh 会将验证集整理为和训练集相同的格式，也可以从 这里 下载

验证集共有 50000 张图片

训练集

方法1

mkdir train && tar -xvf ILSVRC2012_img_train.tar -C train && for x in `ls train/*tar`; do fn=train/`basename $x .tar`; mkdir $fn; tar -xvf $x -C $fn; rm -f $fn.tar; done

方法2

 mkdir train && mv ILSVRC2012_img_train.tar train/ && cd train

tar -xvf ILSVRC2012_img_train.tar && rm -f ILSVRC2012_img_train.tar find . -name "*.tar" | while read NAME ; do mkdir -p "${NAME%.tar}"; tar -xvf "${NAME}" -C "${NAME%.tar}"; rm -f "${NAME}";

done cd ..

训练集共有1281167 张图片