神经网络训练中的训练集、验证集以及测试集合

转载 2015年11月21日 16:30:14

1:在NN训练中我们很常用的是训练集合以及测试集合,在训练集合上训练模型(我个人认为模型就是训练的方法以及对应的参数值,更偏重于参数值吧),训练好之后拿到测试集合上验证模型的泛华(就是该模型可以拿去实战的效果)的能力。


2:但是对于上述情况,举个例子,比如是在训练一个多层网络,我们用类似minFUNC的方法来训练,那么这个优化包会直接根据我们的输入直接迭代出来一个很好地结果了,此时模型就训练好了。但是如果运用SGD这些方法去训练的话,到底迭代多少次算好?有时候可能也不收敛,只是中间过程中的一个参数值是效果最好的,那我们如何知道这个参数值?


3:个人认为有了验证集,真的很适合来使用SGD来训练,在训练过程中,比如训练了一个epoch,那么来把训练好的参数用于验证集上,然后保存在验证集合上的精度,只要改精度满足一定条件,那么训练就可以终止。


4:关于训练集、验证集以及测试集合的选择,这个网上资料很多,不在这里说了。


补充一个伪代码:

for each epoch
    for each training data instance
        propagate error through the network
        adjust the weights
        calculate the accuracy over training data
    for each validation data instance
        calculate the accuracy over the validation data
    if the threshold validation accuracy is met
        exit training
    else
        continue training

matlab中神经网络工具箱函数汇总

1.设计函数 solvein    设计线性网络;                solverb   设计径向基网络;                      solverbe    设计精确...

提取神经网络数学表达式

来自《神经网络之家》 www.nnetinfo.com 作者:xiaoH   日期:2015-07-16 12:08:27.0 当我们在matlab训练好网络后,可以使用神经网络工具箱...

[DeeplearningAI笔记]改善深层神经网络1.1_1.3深度学习实用层面_偏差/方差/欠拟合/过拟合/训练集/验证集/测试集

觉得有用的话,欢迎一起讨论相互学习~Follow Me1.1 训练/开发/测试集对于一个数据集而言,可以将一个数据集分为三个部分,一部分作为训练集,一部分作为简单交叉验证集(dev)有时候也成为验证集...

神经网络-训练集 验证集 测试集

转载自:http://stackoverflow.com/questions/2976452/whats-is-the-difference-between-train-validation-and-...

(尤其是训练集验证集的生成)深度学习 tensorflow 实战(2) 实现简单神经网络以及随机梯度下降算法S.G.D

在之前的实战(1) 中,我们将数据清洗整理后,得到了'notMNIST.pickle'数据。 本文将阐述利用tensorflow创建一个简单的神经网络以及随机梯度下降算法。 [ja...

训练集和测试集(神经网络开篇知识点)

定义说明: 训练集是用于发现和预测潜在关系的一组数据(data)。 测试集是用于评估预测关系的强度和效用的一组数据(data)。  运用领域: 测试和训练集用于智能系统,机器学习,遗传...

训练集(train set) 验证集(validation set) 测试集(test set)

转载自http://www.cnblogs.com/xfzhang/archive/2013/05/24/3096412.html,仅用作学习。 在有监督(supervise)的机器学习中,数据集常...

1.1 图像分类:数据驱动的方法,k-近邻,划分训练集/验证集/测试集

1.1 图像分类:数据驱动的方法,k-近邻,划分训练集/验证集/测试集本文是对斯坦福大学“CS231n:用于视觉识别的卷积神经网络”课程笔记的翻译。模块1:神经网络 第1部分:图像分类:数据驱动的方...
  • xsugus
  • xsugus
  • 2017年12月12日 14:04
  • 18

机器学习中的训练集,验证集及测试集的关系

 机器学习中的训练集,验证集及测试集的关系                          作者同类文章X ...

机器学习之训练集_验证集_测试集

在NG的ML课程中和西瓜书中都有提到:最佳的数据分类情况是把数据集分为三部分,分别为:训练集(train set),验证集(validation set)和测试集(test set)。那么,验证集和测...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:神经网络训练中的训练集、验证集以及测试集合
举报原因:
原因补充:

(最多只允许输入30个字)