深度学习图像识别笔记（一）：数据集

深度学习图像识别笔记之数据集

本人小白，学习神经网络进行图像识别的过程中，发现内容很杂乱，自学不够系统，且笔记类别很难划分清楚，因此把自己的学习过程写博文，供大家一起学习，如有错误，欢迎指出。所有引用内容都会附上原文或原视频链接，侵删。

训练集、测试集、验证集

1. 概念
   首先，需要说明一点的是，训练集（training set）、验证集（validation set）和测试集（test set）本质上并无区别，都是把一个数据集分成三个部分而已，都是（feature,label）造型。尤其是训练集与验证集，更无本质区别。测试集可能会有一些区别，比如在一些权威计算机视觉比赛中，测试集的标签是private的，也就是参赛者看不到测试集的标签，可以把预测的标签交给大赛组委会，他们根据你提交的预测标签来评估参赛者模式识别系统的好坏，以防作弊。
   （原文链接：https://blog.csdn.net/u011501388/article/details/78359133）

训练集：是模型拟合的数据样本，用于调试神经网络。

验证集：是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估，用来查看训练效果。

测试集：用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。它用来测试网络的实际学习能力。

2. 验证集和测试集的区别
   验证集和测试集的目的是对机器学习系统做出最重要的调整

验证集(validation set): 查看模型训练的效果是否朝着坏的方向进行。验证集的作用是体现在训练的过程。

举个栗子：通过查看训练集和验证集的损失值随着epoch的变化关系可以看出模型是否过拟合，如果是可以及时停止训练，然后根据情况调整模型结构和超参数，大大节省时间。

测试集(test set): 用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。测试集的作用是体现在测试的过程。

对原始数据进行三个数据集的划分，也是为了防止模型过拟合。当使用了所有的原始数据去训练模型，得到的结果很可能是该模型最大程度地拟合了原始数据，亦即该模型是为了拟合所有原始数据而存在。当新的样本出现，再使用该模型进行预测，效果可能还不如只使用一部分数据训练的模型。
（链接：https://zhuanlan.zhihu.com/p/113296640）

有一个形象的比喻：

• 训练集-----------学生的课本；学生根据课本里的内容来掌握知识。

• 验证集-----------作业；通过作业可知道学生学习情况、进步的速度快慢。

• 测试集-----------考试；考题平常都没有见过，考察学生举一反三的能力。

  传统上，一般三者切分的比例是：6：2：2，验证集并不是必须的。

• 训练集直接参与了模型调参的过程，显然不能用来反映模型真实的能力(防止课本死记硬背的学生拥有最好的成绩，即防止过拟合)。

• 验证集参与了人工调参(超参数)的过程，也不能用来最终评判一个模型(刷题库的学生不能算是学习好的学生)。所以要通过最终的考试(测试集)来考察一个学(模)生(型)真正的能力(期末考试)

• 测试集为了具有泛化代表性，往往数据量比较大，所以往往只取测试集的其中一小部分作为训练过程中的验证集。当然有的论文中没有设置验证集也是可以的。
  （链接：https://zhuanlan.zhihu.com/p/113296640）

3. 为什么要使用测试集

a)训练集直接参与了模型调参的过程，显然不能用来反映模型真实的能力（防止课本死记硬背的学生拥有最好的成绩，即防止过拟合)。

b)验证集参与了人工调参(超参数)的过程，也不能用来最终评判一个模型（刷题库的学生不能算是学习好的学生）。

c) 所以要通过最终的考试(测试集)来考察一个学(模)生(型)真正的能力（期末考试）。
（原文链接：https://blog.csdn.net/kieven2008/article/details/81582591）

4. 个人疑问
   对一个网络进行训练，并得到其识别某类图片的AP,AR,mAP等结果的过程，能只用训练集和验证集吗？二者之间的额比例是怎样的？

问了学长，他说不用测试集也可以，但我还是不太明白。

（解决问题后继续更新）