Tensorflow中用VGG19做二分类loss出现0.693174解决方法2

最新推荐文章于 2024-05-26 16:09:38 发布
最新推荐文章于 2024-05-26 16:09:38 发布
阅读量4.2k 收藏 5
点赞数
文章标签： TensorFlow momentum l2正则化 梯度下降算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/check2255/article/details/78451252
版权

接上次相同题目的blog，发现权重加了l2正则化后，开始的loss很大，逐渐收敛到0.693174后不变……

在Tensorflow下用VGG19 pre-train的model跑一个人脸表情库，做一个二分类。
出现loss除了迭代的第一个值，其余输出均是0.693174
我用的梯度下降算法是Adam

解决方法：
将梯度下降算法改为SGD+Momentum（0.9）
开始时loss在0.693174上下浮动，随着迭代次数增多，loss逐渐收敛。

另外：对于分类问题，通常用SGD+Momentum做梯度下降效果要比Adam好

Wkyao_Check
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
训练loss不下降原因集合
jacke121的专栏
04-09 9万+
一，train loss与test loss结果分析 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小...
分类问题时loss只是收敛到0.693附近的直线
HuntZou的博客
03-26 6469
目录问题概述根本原因：交叉熵常见原因之一：Sigmoid出现问题原因及解决方法1 当输入与输出确实不相关时2 当模型初始权重相同且较大，且学习率较小时3 当模型的输入本身就很小，或者模型初始化权重很小时4 特征不明显，导致长时间训练不拟合5 使用sigmoid或tanh这类函数时，或输入特征较大使得收敛更困难 这种情况一般是在使用了交叉熵的二分类问题上容易出现，同样的，也可能出现loss收敛到1.0986、1.386等等，其实他们就是log(1/2)、log(1/3)、log(1/4)。。。 问题概述 根
VGG19_LOSS 代码学习研究
qq_38376205的博客
12-02 2062
import torchvision.models as models PyTorch源码解读之torchvision.models vgg19 制作vgg loss 代码解读 class Vgg19(nn.Module): def __init__(self, args, requires_grad=False): super(Vgg19, self).__init__() self.args = args self.vgg_pretr...
VGG16神经网络分类学习记录——二分类
最新发布
diyuxiaoguaishou的博客
05-26 1174
这篇文章主要是本人在进行学习vgg-16时所进行的代码复现，将其学习记录下来。主要的数据集是UI和壁纸之间的分类预测。
加载和调用VGG19模型计算VGG_loss
CV_YOU的博客
12-14 5620
1.加载代码 # Assume input range is [0, 1] class VGGFeatureExtractor(nn.Module): def __init__(self, feature_layer=34, use_bn=False, use_input_norm=Tru...
利用vgg16进行二分类-vgg16.zip
04-05
总的来说，本项目展示了如何利用深度学习，特别是VGG16模型，解决图像分类问题。通过调整预训练模型、添加适应任务的层以及采用正则化技术，我们可以构建一个高效且准确的二分类系统。对于初学者，这是一个很好的...
基于tensorflow的vgg16和vgg19网络.zip
03-30
本压缩包“基于tensorflow的vgg16和vgg19网络.zip”包含了关于使用TensorFlow实现VGG16和VGG19网络的相关资源。VGG网络是由英国牛津大学视觉几何组（Visual Geometry Group）提出的，在2014年的ImageNet挑战赛中取得...
vgg19_bn-c79401a0.pth
08-17
VGG19_BN模型通常用于图像分类任务，尤其是在ImageNet这样的大型数据集上进行预训练，然后可以进行迁移学习，应用于物体检测、语义分割、图像风格转换等其他计算机视觉任务。由于其丰富的特征表示能力，即使在当前的...
tensorflow-使用tensorflow实现的vgg19+vgg16算法.zip
03-02
本项目聚焦于使用TensorFlow实现两种经典的卷积神经网络（Convolutional Neural Networks，简称CNN）：VGG19和VGG16。VGG模型由牛津大学的Visual Geometry Group在2014年的ImageNet竞赛中提出，因其深而窄的结构而...
vgg19-dcbb9e9d.pth.zip
03-10
2. **全连接层**：在卷积层序列之后，VGG19有三个全连接层，通常用于分类任务。全连接层将卷积层的输出展平为一维向量，然后通过一系列线性变换，逐渐降低特征维度，最后输出分类结果。 3. **Dropout层**：在全连接...
Pytorch学习笔记（I）——预训练模型（六）：VGG19网络结构
lockonlxf的博客
05-21 7427
VGG( (features): Sequential( (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (1): ReLU(inplace) (2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1...
为什么神经网络模型在测试集上的准确率高于训练集上的准确率？
种花家的奋斗兔的博客
03-21 1万+
类似下图： 或者下图： 来自：吴恩达机器学习Regularization部分。 如上图所示，有时候我们做训练的时候，会得到测试集的准确率或者验证集的准确率高于训练集的准确率，这是什么原因造成的呢？经过查阅资料，有以下几点原因，仅作参考，不对的地方，请大家指正。 （1）数据集太小的话，如果数据集切分的不均匀，或者说训练集和测试集的分布不均匀，如果模型能够正确捕捉到数据内部的分布模式话...
VGG16做二分类时loss维持0.69不降解决办法
Manuel667399的博客
04-14 433
在使用VGG16做二分类任务（如猫和狗分类）时，可能会遇到这种情况：损失值loss总是维持在0.69，或者准确率恒等于50%，无论如何调整学习率（尝试过0.001、0.0001和0.00001），loss始终不降。一种简单的解决办法在每个卷积层的后面添加一个BN（Batch Normalization）层。
Tensorflow中用VGG19做二分类-loss出现0.693174解决方法
check2255的博客
10-22 6170
在Tensorflow下用VGG19 pre-train的model跑一个人脸表情库，做一个二分类。 出现loss除了迭代的第一个值，其余输出均是0.693174 百度解决方法，发现需要在全连接层的权重加权重衰减（l2正则化） 在把权重衰减loss和交叉熵loss添加到总loss里。 Tensorflow中具体实施如下： flattened_shape = 8 * 8 * 512
TensorFlow练手项目三：使用VGG19迁移学习实现图像风格迁移
热门推荐
笔墨留年。
03-24 3万+
使用VGG19迁移学习实现图像风格迁移 一直想要做个图像风格迁移来玩玩的，感觉还是蛮有意思的。 所谓图像风格迁移，即给定内容图片A，风格图片B，能够生成一张具有A图片内容和B图片风格的图片C。 比如说，我们可以使用梵高先生的名画《星夜》 作为风格图片，来与其他图片生成具有《星夜》风格新图片。emmm，夭寿啦，机器帮你画世界名画啦。。。 举两个生成的例子： 均使用《星夜》作为风格图片（可以...
VGG19模型训练+读取
weixin_34406061的博客
06-12 1735
目录 VGG-19模型简单介绍 VGG-19模型文件介绍 分析模型文件 mean值查看 Weight和Bias查看 读取代码 读取模型 训练代码 参考资料 ...
一文读懂VGG网络
阿木寺的博客
08-06 2万+
《Very Deep Convolutional Networks for Large-Scale Image Recognition》 arXiv：https://arxiv.org/abs/1409.1556 intro：ICLR 2015 homepage：http://www.robots.ox.ac.uk/~vgg/research/very_deep/ 前言 VGG是Ox...
vgg19.npy vgg16_weights.npz
09-04
vgg19.npy和vgg16_weights.npz是两个不同的文件，都与VGG神经网络模型有关。 vgg19.npy是一个包含VGG19模型的参数的numpy数组文件。VGG19是一个深度卷积神经网络模型，具有19个卷积层和全连接层。这个文件保存了这个模型的每个卷积层和全连接层的权重和偏置参数。通过加载vgg19.npy文件，我们可以获得VGG19模型在训练过程中学到的权重参数，进而在自己的项目中使用或者进行进一步的训练和微调。 vgg16_weights.npz则是一个包含VGG16模型的权重和偏置参数的numpy压缩文件。与VGG19类似，VGG16也是一个深度卷积神经网络，具有16个卷积层和全连接层。vgg16_weights.npz文件中保存了VGG16模型的参数，可直接加载和使用。这个文件可以用于导入预训练的VGG16模型，从而省去了自己训练这样一个复杂模型的时间和计算资源。 总结而言，vgg19.npy和vgg16_weights.npz都是包含VGG神经网络模型的参数的文件，可以用来加载和使用已训练好的模型权重，或者作为基础模型进行进一步的训练和微调。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值