ImageNet2012 数据集下载

机器学习需要用 ImageNet2012 数据集生成一下预训练文件，这里记录一下ImageNet2012的下载和处理。（需要linux环境）

1 数据集下载

使用的是ImageNet(ISLVRC2012)数据集。直接从官网下载需要注册（使用edu邮箱），参考了这一篇帖子ImageNet ISLVRC2012数据集下载和使用 （帖子里也提供了磁力链接这种下载方式）和这一篇ImageNet(ISLVRC2012)数据集 - 知乎 (zhihu.com)ImageNet ISLVRC2012数据集下载和使用

但是我注册的时候验证信息一直加载不出来，就直接从其他人分享的迅雷链接下载了（特别感谢）。

批量解压ImageNet ISLVRC2012数据集的下载并按标准布局解压 （在这个帖子里有分享迅雷链接，用超级会员下载起来还是比较快的）

需要下载3个文件，我也将帖子中的迅雷链接贴在这里：

#训练集
http://academictorrents.com/download/a306397ccf9c2ead27155983c254227c0fd938e2.torrent
​
#验证集：
http://academictorrents.com/download/5d6d0df7ed81efd49ca99ea4737e0ae5e3a5f2e5.torrent

#用于处理验证集的bash文件：
链接：https://pan.xunlei.com/s/VMkus56ePQ4LMJUIXheBkhXSA1 提取码：k9ej

复制链接到迅雷里，下载到本地是这三个文件，数据很大，用超级会员下载大概一共需要5个小时左右，可以在空闲时间下载：

2 处理数据集

下载下来的压缩包需要进行一些解压处理的工作。

先解压训练集，因为训练集内部有很多压缩包（每一个分类文件都是压缩包格式），采用命令行的形式对其进行解压。我是使用linux子系统进行操作的，后两步需要很长时间。

#先在一个合适的目录下创建一个train文件用来放置后续解压的文件
mkdir train && mv ILSVRC2012_img_train.tar train/ && cd train
#然后将训练集解压到train文件夹中并删除压缩包
#最后将1000个分类的压缩包解压成对应的文件夹并删除压缩包
#后两步需要占用很长的时间
tar -xvf ILSVRC2012_img_train.tar && rm -f ILSVRC2012_img_train.tar
find . -name "*.tar" | while read NAME ; do mkdir -p "${NAME%.tar}"; tar -xvf "${NAME}" -C "${NAME%.tar}"; rm -f "${NAME}"; done
cd ..

然后处理验证集，将验证集解压到val文件夹（此时val文件夹内是5万张图片），然后需要运行valprep.sh文件，将验证集整理成与训练集相同的结构。

#创建val文件夹，将训练集压缩包解压到val文件夹中
mkdir val && mv ILSVRC2012_img_val.tar val/ && cd val && tar -xvf ILSVRC2012_img_val.tar
cd ..
#运行bash文件，整理训练集图片
mv valprep.sh val && cd val && bash valprep.sh

处理后数据集的结构如下：

imagenet
+--train
   +--n01440764
      +--n01440764_18.JPEG
      +-- *.JPEG
   +-- ...(各类文件夹)    
+--val
   +--n01440764
      +--n01440764_18.JPEG
      +-- *.JPEG
   +-- ...(各类文件夹)

 至此imagenet2012数据集整理完成，可以加载用于训练了。