神经网络训练中的训练集、验证集以及测试集合

转载 2015年11月21日 16:30:14

1:在NN训练中我们很常用的是训练集合以及测试集合,在训练集合上训练模型(我个人认为模型就是训练的方法以及对应的参数值,更偏重于参数值吧),训练好之后拿到测试集合上验证模型的泛华(就是该模型可以拿去实战的效果)的能力。


2:但是对于上述情况,举个例子,比如是在训练一个多层网络,我们用类似minFUNC的方法来训练,那么这个优化包会直接根据我们的输入直接迭代出来一个很好地结果了,此时模型就训练好了。但是如果运用SGD这些方法去训练的话,到底迭代多少次算好?有时候可能也不收敛,只是中间过程中的一个参数值是效果最好的,那我们如何知道这个参数值?


3:个人认为有了验证集,真的很适合来使用SGD来训练,在训练过程中,比如训练了一个epoch,那么来把训练好的参数用于验证集上,然后保存在验证集合上的精度,只要改精度满足一定条件,那么训练就可以终止。


4:关于训练集、验证集以及测试集合的选择,这个网上资料很多,不在这里说了。


补充一个伪代码:

for each epoch
    for each training data instance
        propagate error through the network
        adjust the weights
        calculate the accuracy over training data
    for each validation data instance
        calculate the accuracy over the validation data
    if the threshold validation accuracy is met
        exit training
    else
        continue training

相关文章推荐

1.MNIST库之初探---下载和读取图片

MNIST使用

神经网络-训练集 验证集 测试集

转载自:http://stackoverflow.com/questions/2976452/whats-is-the-difference-between-train-validation-and-...

机器学习中的训练集,验证集及测试集的关系

最近在看机器学习的东西发现验证集的(Validation set) 有时候被提起到,以时间没明白验证集的真正用途。 首先,这三个名词在机器学习领域的文章中是很常见的,以下是这三个词的定义。  Tra...

神经网络训练中的训练集、验证集以及测试集合

1:在NN训练中我们很常用的是训练集合以及测试集合,在训练集合上训练模型(我个人认为模型就是训练的方法以及对应的参数值,更偏重于参数值吧),训练好之后拿到测试集合上验证模型的泛华(就是该模型可以拿去实...

神经网络算法学习---获取常用训练数据集

1.MNIST手写数字数据集 下载网址:http://yann.lecun.com/exdb/mnist/index.html 具体下载和处理方式请参照我的第一篇博客http://blog.csdn....

IBM SPSS Modeler 【4】 神经网络模型的测试验证

2、神经网络模型的测试验证 (1)          在以上步骤的基础上,导入新的样本数据作为测试数据。在同一个流中,利用“可变文件”导入 “Demos”文件夹下的“GOODS2n”数...

机器学习中的训练集,验证集及测试集的关系

 机器学习中的训练集,验证集及测试集的关系                 ...

神经网络1.训练和测试(train&test)以及相关关系解释--神经网络开篇

现实生活中计算机是没法像人类一样的认识事物的,所以人类一直致力于这方面的研究。前辈们已经开发了许多的方法以实现计算机识别的能力,比如SVM等。但是目前来说最火且具有最高识别度的还是深度学习。有许许多多...

训练集 验证集 测试集

有1000组数据,训练一个分类器 1. 分类器无需进行模型选择 1000组数据可以直接划分为 training set + test set 2. 分类器涉及模型选择 比如k近邻分类器对k值的选择, ...

训练集和测试集(神经网络开篇知识点)

定义说明: 训练集是用于发现和预测潜在关系的一组数据(data)。 测试集是用于评估预测关系的强度和效用的一组数据(data)。  运用领域: 测试和训练集用于智能系统,机器学习,遗传...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)