深度神经网络(训练集，验证集，测试集), 提升模型效果，交叉验证

随笔
神经网络训练确实是loss越小，效果越好，但不是绝对的。
因为损失小只是对训练集而言，所以要划出部分数据不做训练，只做验证，即为验证集，验证集对网络训练是没影响的，
所以要将数据集分成：训练集，验证集，测试集

其实 训练集，验证集 都是有 输入（input）及标签（label）的，所以都可以拿来训练，即前向传播–>求损失–>反向传播。

但验证集存在的意义就是“验证”，验证集不需要反向传播计算（即训练），
验证集是用来验证训练集得到的模型的输出效果（准确率，得分等），

某些情况带入验证集求损失，通过得到‘最小’损失，验证集的损失不做反向传播计算
但是此处的‘最小’损失，用来验证最优模型。
因为验证集不会影响、修改网络模型，可以说验证集是验证网络模型的泛化效果

测试集是没有标签（label）的，将测试集带入模型得到的输出，是没法通过量化衡量效果的，如一些比赛，用测试集来输出结果，然后提交官方。

其实训练集，验证集 可以统一归为一个大的训练集

有些情况是只有训练集的。
1.你可以将训练集全部用来训练，这样省事，但你只能知道训练集内部的效果。
对于训练集内部的数据肯定效果好，但是训练集外部的数据就不一定了

2.而利用kfold 将数据集分成k份，如分成5份，取4份作为训练数据，1份作为验证数据，训练数据之外的验证数据验证模型的泛化效果
每个epoch训练完数据之后，在带入验证数据验证效果，

第二种效果可能会更好，即使少了一部分训练数据

k折利用python的sklearn库处理
from sklearn.model_selection import KFold

个人观点