深度学习为什么会出现validation accuracy大于train accuracy的现象？

最新推荐文章于 2022-05-09 23:16:33 发布
最新推荐文章于 2022-05-09 23:16:33 发布
阅读量8k 收藏 8
点赞数 3
分类专栏： 深度学习 文章标签： 深度学习 accuracy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38133212/article/details/88071189
版权

知乎：深度学习为什么会出现validation accuracy大于train accuracy的现象？

概括他们的答案：

  1. validation的样本数量一般远小于training的
  2. val的时候是用已经训练了一个epoch的model进行测试的(经过大量的训练学习到东西了)
  3. data augmentation把训练集变得丰富，制造数据的多样性和学习的困难来让network更robust（比如旋转，随机crop，scale），但是val和test的时候一般是不对数据进行data augmentation的
  4. 各种正则化，dropout在训练集上使用，却不会在验证集上使用，导致训练集的 loss 偏大
街道口扛把子
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【问题 解决】mxnet训练mnist数据集的Train_accuracy很小
s_sunnyy的博客
01-22 3425
在dl4上运行train_mnist.py正常，Train_accuacy在0.9附近 [hx@dl4 image-classification]$ python train_mnist.py --gpus 0 INFO:root:start with arguments Namespace(batch_size=64, disp_batches=100, gpus='0', kv_store
不能更通俗易懂的机器学习名词解释
weixin_34088598的博客
08-02 652
train? valid? or test? 机器学习最明显的一个特点是需要大量的数据。特别对监督学习来说，就是需要大量的带标签数据（labeled data）。 很多入门的朋友很快就会遇见模型训练和测试这两个阶段，进而也就了解到带标签数据是要被划分成两个部分的：训练集(training set)与测试集(test set)。这两个概念也很直观，...
validation accuracy vs train accuracy
大泽之国
11-18 6052
训练时validation accuracy和train accuracy之间没有差距，本义为这是一个还不错的曲线，但是今天讨论时有人评论说这种情况说明网络参数不足，因为在参数充足的情况下多多少少会有过拟和，所以正常情况下train accuracy会高于validiation accuracy，似乎很有道理！ ...
深度学习中训练集（train set），验证集（validation set)和测试集（test set）
热门推荐
山上有只羊M
12-06 1万+
在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(train set) 验证集(validation set) 测试集(test set)。 训练样本和测试样本 训练样本的目的是 数学模型的参数，经过训练之后，可以认为你的模型系统确立了下来。 一般训练样本和测试样本相互独立，使用不同的数据。 training set 是用来训练模型或确定模型参数的，如ANN中权值等；...
深度学习 训练集(train)验证集(validation)测试集(test)与交叉验证法
qq_27278957的博客
09-03 6332
机器学习中这三种数据集合非常容易弄混，特别是验证集和测试集，这篇笔记写下我对它们三个的理解以及在实践中是如何进行划分的。 训练集 这个是最好理解的，用来训练模型内参数的数据集，Classfier直接根据训练集来调整自身获得更好的分类效果 验证集 用于在训练过程中检验模型的状态，收敛情况。验证集通常用于调整超参数，根据几组模型验证集上的表现决定哪组超参数拥有最好的性能。 同时验证集在训练过程中还可以用来监控模型是否发生过拟合，一般来说验证集表现稳定后，若继续训练，训练集表现还会继续上升，但是验证集会
神经网络训练与预测时结果不一致的一种原因
jasminefeng的博客
01-29 2470
为了防止过拟合，我设置了提前终止early stop。发现预测时的train accuracy与训练时打印出的max train accuracy并不一致。经断点调试，发现是early stop代码段的问题 if test_accuracy > self.max_test_acc and train_accuracy > self.max_train_acc - 0.04: self.max_test_acc = test_accuracy self.max_acc_epo
MATLAB深度学习入门实例.pdf
06-30
近年来，随着深度学习技术的发展，MATLAB也加入了深度学习的支持，为用户提供了一套完整的深度学习开发环境。MATLAB的深度学习工具箱不仅支持各种经典的深度学习模型，如卷积神经网络（CNN）、循环神经网络（RNN）、...
深度学习入门的一些简单例子(python实例)
05-07
深度学习是一种人工智能领域的核心技术，它基于神经网络模型对复杂数据进行建模，尤其在图像识别、语音识别、自然语言处理等领域表现出强大的能力。Python作为目前最流行的编程语言之一，是深度学习开发的首选工具，...
IPython利用机器学习和深度学习技术来进行垃圾分类
最新发布
07-16
### IPython利用机器学习和深度学习技术来进行垃圾分类 #### 简介 随着城市化进程的加快，垃圾分类成为了环境保护和可持续发展的重要组成部分。传统的手工分类方式不仅效率低下，而且容易出错。利用机器学习和深度...
基于cifar10数据集深度学习板块VGG模型运用
02-20
### 基于CIFAR-10数据集深度学习板块VGG模型运用 #### 数据导入与预处理 本项目采用的是CIFAR-10数据集，该数据集包含60,000张32x32的彩色图片，分成10个不同的类别，每个类别各6,000张图片。数据集被明确划分为50...
深度学习卷积神经网络mnist算法代码-keras
07-29
通过运行此代码，我们可以观察模型在MNIST数据集上的表现，这通常会达到99%以上的准确率，展示出深度学习在图像识别任务中的强大能力。 总的来说，这个项目是深度学习初学者了解和实践CNN模型的一个理想起点，它...
神经网络与深度学习笔记（五）validation_data 的作用
My Honor！ My World！
08-15 9847
**为何要用 validation_data 而不是 test_data 来防止过度拟合？为何要用 validation_data 而不是 test_data 来设置更好的超参数？**如果 我们设置超参数是基于 test_data 的话，可能我们最终就会得到过度拟合于 test_data 的超参数，但是网络性能并不能够泛化到其他数据集合。我们用 validation_data 来克服这个问题，一旦获
深度学习笔记（十二）—— 训练过程监视[Babysitting The Learning Process]
zeeq的博客
03-11 2006
  在神经网络的训练过程中，有许多有用的量需要监控。下面介绍的几种曲线图是分析训练过程的有用工具，可以用来获得关于不同超参数设置的直观信息，以及如何更改这些参数以提高训练效率。   下面的图的x轴都是以epochs为单位，用来衡量每个样本在预期训练中被使用的次数（例如，一个epochs意味着每个例子都被使用了一次）。由于迭代次数取决于batch大小的设置，因此最好跟踪epochs而不是迭代次数。 1. Loss function   在训练过程中，第一个有用的跟踪量是损失（loss），因为它是在前向传播过程
深度学习（四十一）——深度强化学习（4）A2C & A3C, DDPG
antkillerfarm的专栏
03-02 9281
A2C & A3C Actor-Critic一般简称AC算法。针对它的一般用法参见《机器学习（三十五）》。 AC算法也可用于DRL领域，具体的做法和DQN类似： 一个Actor网络，用来近似V值。 一个Critic网络，用来近似Q值。 这里有个小技巧： Actor网络和Critic网络可以共享网络参数，两者仅最后几层使用不同结构和参数。（参见下图A3C的图） 针对AC的改进，衍...
电影评论文本分类
abnercloud
11-08 827
此笔记本（notebook）使用评论文本将影评分为积极（positive）或消极（nagetive）两类。这是一个二元（binary）或者二分类问题，一种重要且应用广泛的机器学习问题。 我们将使用来源于网络电影数据库（Internet Movie Database）的IMDB 数据集（IMDB dataset），其包含 50,000 条影评文本。从该数据集切割出的25,000条评论用作训练，另外 25,000 条用作测试。训练集与测试集是平衡的（balanced），意味着它们包含相等数量的积极和消极评论.
Tensorflow画loss和val_loss 、accuracy和 val_accuracy的图（便于分析）
weixin_45532899的博客
04-21 3306
首先，我们要知道哪儿里会产生这四个值？ history = model_final.fit( train_generator, epochs=epochs, validation_data=validation_generator, validation_steps = int(nb_validation_samples / batch_size), callbacks=[checkpoint,early]) 当model.compile的metrics=[“acc
Tensorflow2.x框架-神经网络八股扩展-acc曲线与loss曲线
weixin_38477351的博客
04-05 2477
loss /loss可视化，可视化出准确率上升、损失函数下降的过程 目录 摘要 一、acc曲线与loss曲线 二、完整代码 摘要 loss /loss可视化，可视化出准确率上升、损失函数下降的过程 一、acc曲线与loss曲线 history = model.fit(训练集数据, 训练集标签, batch_size=, epochs=, ...
深度学习中，training, validation 和 test set 的区别
weixin_45823587的博客
05-09 1308
1. 综述 可能是因为缺少实践经验，好几次都记不清 training set，validation set 和 test set 的区别，尤其是 validation set 很容易和 test set 弄混。每次都是忘了再查，查了又忘。这次干脆记录下来方便以后复习，也供大家一起学习。 2. training set training set 汉语是训练集，也就是训练神经网络时需要使用的集合。他的主要作用是在 back propagation 的时候调整网络中的权重，以减小损失函数。 3.valid
可以使用python写一个CNN的深度学习神经网络吗？
06-10
model.fit(x_train, y_train, epochs=5, validation_data=(x_test, y_test)) ``` 这段代码首先定义了一个包含多个卷积层和全连接层的 CNN 模型，其中输入的图像大小为 28x28。然后，使用 `compile` 方法编译模型，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值