TinyImageNet数据集val格式不正确导致无法训练测试的问题

TinyImageNet数据集可以在imagenet官网或是这里下载。

如果直接用ImageNet的代码进行加载和模型训练会发现train loss下降而test loss不变的情况（当然要记得修改num_classes)。一番折腾后发现这是因为TinyImageNet数据格式的问题！下载下来的数据集train子集是和ImageNet一样的ImageFolder格式，每个类别的图片存储在同一个文件夹下，由文件夹来区分类别。而val子集所有图片却在同一个文件夹下，由标注文件val_annotations.txt提供每张图片的类别信息。此时如果我们还使用ImageFolder加载val数据集就会得到错误的label信息。

网上大部分做法是将图片转为pkl，再加载为数据集使用，这样在数据格式上会和已有的代码产生一定的冲突，例如做数据预处理transform时。为了保持训练脚本的数据预处理代码不变，写了一个脚本将val子集也转成ImageFolder的格式：

```python
import pandas as pd
import os


def sort_val_data():
    val_annotations = pd.read_csv('val_annotations.txt', sep='\t', names=['filename', 'label_str', 'x_min', 'y_min', 'x_max', 'y_max'])

    for line in val_annotations.itertuples():
        filename = line[1]
        label_str = line[2]
        try:
            os.mkdir(label_str)
        except:
            pass
        os.system('mv images/{} {}/'.format(filename, label_str))

if __name__ == '__main__':
    sort_val_data()

接下来就可以使用训练ImageNet的脚本来处理啦！