caffe 模型训练时loss=87.3365 解决方法

最新推荐文章于 2021-11-24 21:03:23 发布
最新推荐文章于 2021-11-24 21:03:23 发布
阅读量205 收藏
点赞数
分类专栏： 深度学习 文章标签： caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taxuezcy/article/details/103070790
版权

最近一直在做模型时一直被一个问题困扰，得到loss=87.3365,对于这个问题，很多很好的博客给出了解释，链接如下

https://blog.csdn.net/jkfdqjjy/article/details/52268565?locationNum=14

但是悲催的是，每种方法都尝试了，依然不行，真的要怀疑人生了！！！

最后耐着性子，一部一部查看每一层，才找出了问题所在，设置debug_info: true 后会发现输出值慢慢变得非常大，分析原因，在批量归一化层BatchNorm，错误在于设置参数 use_global_stats: true，此处应该改为moving_average_fraction: 0.9。然后问题就解决了，希望记录下来，对和我遇到同样问题的小伙伴有帮助。

，

taxuezcy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
caffe训练时loss=87.3365
爱吃鱼的猫
04-08 2740
近期小编在做图像分类的实验，无奈状况连连。现将遇到的几个大坑简单记录一下，以备日后之需。如果你也出现了问题（1）中GPU内存问题，请看完整篇文章。 1、内存报错 如果你是GPU环境，那你要注意了，你的电脑上现在应该有两个内存限制。 （1）GPU内存 GPU内存大家可以使用下面命令查看 nvidia-smi 如果你想动态观测，那你可以使用下面命令： nvidia-smi -l
用训练好的模型测试训练集每张图片的loss
weixin_44748238的博客
11-14 1561
用训练好的模型测试训练集每张图片的loss 所用模型为vgg 11-6.pth computeloss.py 经过统计loss分布如下： loss区间 个数 >10 0 1-10 1192 0.5-1 808 0.4-0.5 282 0.3-0.4 416 0.2-0.3 722 0.1-0.2 1439 0.0-0.1 31046 =0 14...
Caffe训练时Loss=87.3365问题
dc90000的博客
06-17 188
1. 问题分析 如图，在开始训练后， loss升高到87.3365后保持不变。这个问题是因为梯度爆炸导致的。 loss -= log(std::max(prob_data[i * dim + label_value * inner_num_ + j], Dtype(FLT_MIN))); 在softmax_loss_layer.cpp的原...
caffe训练时，loss一般出现87.3365则保持不变
山中有石为玉
02-13 1413
caffe训练时，loss一般出现很奇怪的值：87.3365，则保持不变下去。直觉就有问题。 搜索资料，找到多篇帖子： https://blog.csdn.net/u011215144/article/details/78479330 https://blog.csdn.net/cheese_pop/article/details/79582077 https://blog.csdn....
关于caffe训练出现loss=87.3365
人生虚空
03-07 6236
可以在solver里面设置： debug_info: true 看看各个层的data和diff是什么值，一般这个时候那些值不是NAN（无效数字）就是INF（无穷大）， 一般的解决办法是： 1、检查数据的标签是否从0开始且连续 2、把学习率base_lr调低 3、数据问题 4、中间层没有归一化，导致经过几层后，输出的值已经很小了，这个时候再计算梯度就比较尴尬了， 这也是我遇到的问题，
解决Caffe训练过程中loss不变问题
炼丹
05-02 3万+
caffe中loss保持87.33和0.69的解决办法
caffe_goturn模型以及描述文件.zip
08-04
标题中的“caffe_goturn模型”指的是一个基于Caffe框架的视觉对象跟踪（Object Tracking）模型，名为GOTURN（Gradient-based One-shot Tracker）。GOTURN是一种高效且准确的端到端深度学习模型，用于实时的目标跟踪...
MobileNetSSD_deploy.caffemodel和MobileNetSSD_deploy.prototxt
05-20
MobileNetSSD预训练模型 Realtime object recognition using the OpenCV 3.3 dnn module + pretrained MobileNetSSD caffemodel.
Google MobileNet SSD检测网络的Caffe实施，在VOC0712和mAP = 0.727上具有预训练的权重。-C/C++开发
05-26
MobileNet-SSD MobileNet-SSD检测网络的Caffe实现，在VOC0712和mAP = 0.727上具有预训练的权重。 网络mAP下载下载MobileNet-SSD 72.7培训MobileNet-SSD MobileNet-SSD检测网络的Caffe实现，在VOC0712和mAP = 0.727上...
resnet101_caffe.pth预训练模型
11-12
本模型是在ImageNet预训练好的resnet模型。作为faster RCNN的backbone网络参数使用。有参考https://github.com/jwyang/faster-rcnn.pytorch等人的项目开始入手faster RCNN的朋友可以下载这个模型。
softmaxwithloss入门及88.3365解决之道
葫芦与瓢的博客
08-03 1486
softmax with loss: softmax从名字上看就是软最大，其做法其实很简单： 前提：最后输出向量长度为N，与要区分的类别个数一致 1 第一步，取向量的最大值，将每个值减去最大值，这样就会将所有的数都变成非正数 2 求softmax: 3 经过第二步就会将向量变成全部小于1，大于0，累加为1的向量，这样就比较符合我们输出每个类别的概率的判断：在那个类别下的值
caffe训练损失输出值为87.3365
lyiiiiii61的博客
01-24 638
1. 数据标签未从0开始（caffe中要求标签从0开始） 2. 学习率设置较高 3. 网络输入与输出的类别数量不一致 可以在solver里面设置： debug_info: true 查看各个层的data和diff是什么值，NAN为无效数字，INF为无穷大 由于loss的最大值由FLT_MIN计算得到，其对应的自然对数正好为-87.3365 这说明softmax在计算的
模型训练loss不下降，精度不上升
qq_35037684的博客
11-26 8272
模型搭建好后，训练，发现loss不下降，精度不上升… 我枯了。。 iter[110]: accuracy = 0.8114 loss = 899.3430 iter[120]: accuracy = 0.8013 loss = 917.3421 iter[130]: accuracy = 0.8103 loss = 901.3432 iter[140]: accuracy = 0.7969 loss = 925.3407 it
Caffe loss 精讲
前进ing的博客
03-20 646
每一次训练迭代，都会向前传播，产生loss值。 Loss部分在solver文件中，有两个参数： 1. average_loss 默认值是1，Loss为单个iteration对应的loss； 当设置average_loss = n ， 则Loss为n个Loss的均值，相当于做个均值滤波。 2. weight_decay 为正则项在Loss函数中的系数。如果过拟合，调大这个参数；如果欠拟合...
深度学习与计算机视觉系列(8)_神经网络训练与注意点
热门推荐
寒小阳
01-15 5万+
在前一节当中我们讨论了神经网络静态的部分：包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分，主要是训练的事情，集中在实际工程实践训练过程中要注意的一些点，如何找到最合适的参数。
模型训练——Loss函数 归纳汇总
wsy1234567890的博客
11-24 7431
上一篇文章《语音降噪模型归纳汇总》是在知乎写的第一篇文章，很意外地收到了点赞收藏和关注，如此的反馈给了我极大的鼓舞，这里就再梳理了一下loss函数相关的知识，以求方便能作为一份工具性质的文章展现出来。能力一般，水平有限，欢迎大家指正。 干货分享：欢迎收藏点赞加关注 目录 前言 什么是损失（Loss）？ 预测值（估计值）与实际值（预期值、参考值、ground truth）之间会存在差异, “损失”意味着模型因未能产生预期结果而受到的惩罚。 损失函数的作用？ 损失函数将通过比较模型的预测输出和预期输出来确定
loss一直是87.3365,accuracy一直是1
cv小学dl三年级
11-13 2187
训练时出现： loss一直是87.3365,accuracy一直是1 解决办法 调小学习率
训练model过程中，loss=nan问题时该怎么解决？
u011630472的博客
08-08 927
当我在UCF-101数据集训练alexnet时，epoch设为100，跑到三十多个epoch时，出现了loss=nan问题，当时是一脸懵逼，在查阅资料后，我通过减小学习率解决了问题，现总结一下出现这个问题的可能原因及解决方法： 1. 减小整体学习率。学习率比较大的时候，参数可能over shoot了，结果就是找不到极小值点； 减小学习率可以让参数朝着极值点前进； 2. 改变网络宽度。有可能是网络后面的层参数更新异常，增加后面层的宽度试试； 3. 改变层的学习率。每个层都可以设置学习率，可以尝试减小后...
记录模型训练时loss值的变化
orangefly0214的博客
10-15 1万+
记录训练过程中的每一步的loss变化 if verbose and step % verbose == 0: sys.stdout.write('\r{} / {} : loss = {}'.format( step, total_steps, np.mean(total_loss))) sys.stdout.flus...
caffe --module=caffe.alexnet
最新发布
06-02
`caffe --module=caffe.alexnet` 命令用于使用 Caffe 框架内置的 AlexNet 模型进行训练或测试。AlexNet 是一个经典的深度卷积神经网络模型，由 Alex Krizhevsky 等人在 2012 年 ImageNet 大规模视觉识别竞赛 (ILSVRC...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值