解决Caffe训练过程中loss不变问题

最新推荐文章于 2024-05-19 15:58:17 发布
最新推荐文章于 2024-05-19 15:58:17 发布
阅读量3.6w 收藏 27
点赞数 6
分类专栏： caffe 文章标签： caffe 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010911921/article/details/71079367
版权
在Caffe中训练深度学习模型时，遇到loss值固定不变的问题。对于loss等于87.33的情况，原因是softmax输入数据溢出导致。解决方案包括减小权重初始化值、降低学习率及检查数据异常。而对于loss保持0.69，可能是网络配置或初始化参数引起，加入BN层或调整初始参数有助于收敛。
摘要由CSDN通过智能技术生成

原文地址：http://blog.csdn.net/u010911921/article/details/71079367
这段在使用caffe的时候遇到了两个问题都是在训练的过程中loss基本保持常数值，特此记录一下。

1.loss等于87.33不变

loss等于87.33这个问题是在对Inception-V3网络不管是fine-tuning还是train的时候遇到的，无论网络迭代多少次，网络的loss一直保持恒定。

查阅相关资料以后发现是由于loss的最大值由FLT_MIN计算得到，FLT_MIN是 1.17549435e−38F​ 其对应的自然对数正好是

最低0.47元/天 解锁文章
以行践言
关注
  • 6
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 15
    评论
专栏目录
关于训练时Loss值不变的情况分析
ZHANGWEI199212040的博客
10-24 1万+
今天在搭建简单模型训练花数据的时候发现loss,始终为一个数。 loss:实际输出值和标签值之间的误差距离。在分类任务中，如何评判输出和期望之间的接近？ 交叉熵：刻画了两个概率分布之间的距离。是分类问题中应用比较广的一种损失函数。 反向更新权重：有了损失函数，知道了实际输出和真实值之间的距离，用梯度求导更新权重。 学习率：公式中的a就是学习率，表示的是每次权重更新的大小。 学习率设置...
caffe-关于损失的问题
yang_502的博客
05-19 1257
1）今天用webface库去训练caffe/model下的alexnet网络。     webface库总共49w张图像，经过MTCNN的检测后，去除大概2800张之后，使用46w左右做训练，3w左右做验证。    出现很多情况：      a) loss=87.3365          据说是因为lr的问题，把lr改小，网络跑起来。            b）loss的下降速
【模型训练】loss和accuracy变化的调整方向
最新发布
shuaixio的博客
05-19 1165
模型训练过程中，训练集和验证集或测试集的loss和accurancy不同的变化，可能是什么原因，以及如何调整等
神经网络中epoch、batch、batch_size、epoch、iteration理解
qq_36998053的博客
03-01 1万+
1 epoch 当一个完整的数据集通过神经网络一次并且返回一次的过程称为一个epoch。 然而，当一个epoch对于计算机太过庞大时，就需要把它分成多个小块。 2 batch 在不能将数据一次性通过神经网络的适合，就需要将数据集分成几个batch。 3 batch_size 直观的理解 一个batch中的样本总数（一次训练所选取的样本数）。batch_size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如你GPU显存不大，该数值最好设置小一点。 提出batch_size
神经网络模型训练中的相关概念：Epoch，Batch，Batch size，Iteration
一杯水果茶！足矣~
12-06 7390
神经网络模型训练中的相关概念：Epoch，Batch，Batch size，Iteration
第二章、机器学习之训练轮数（epoch）
weixin_52397563的博客
07-24 8868
在开启学习机器学习之前，我们先来了解了解机器学习中重要的参数吧，本文介绍了机器学习的基础内容之训练轮数（epoch）。
Caffe的深度学习训练全过程
02-25
今天的目标是使用Caffe完成深度学习训练的全过程。Caffe是一款十分知名的深度学习框架，由加州大学伯克利分校的贾扬清博士于2013年在Github上发布。自那时起，Caffe在研究界和工业界都受到了极大的关注。Caffe的使用...
caffe 绘制训练集和测试集的loss和accuracy对比曲线
04-20
利用Caffe提供的脚本程序和Caffe训练日志画loss曲线与accuracy曲线。加强版，可以绘制对比曲线。辛辛苦苦修改作成的代码，大家还是给点儿资源分做鼓励吧，如果实在需要又没有资源分，请根据博客留下的联系方式联系我...
caffe迁移训练
01-06
1.断点续训 #！/usr/bin/env sh ROOT=/home/felix/Felix/...CAFFE=./build/tools/caffe.bin $CAFFE train --solver=$ROOT/solver.prototxt --snapshot=$ROOT/models/densenet/_iter_28000.solverstate --gpu=all 2>&1
triplet loss caffe
02-21
标题“triplet loss caffe”涉及到的是深度学习领域中的一个关键概念——三元组损失（Triplet Loss），以及如何在Caffe框架下实现这一损失函数。Caffe是一款高效、开源的深度学习库，广泛应用于图像识别、物体检测等...
机器学习中epoch的含义
zy的博客
09-03 2215
机器学习中epoch的含义
深度学习中的batch、epoch、iteration的含义
热门推荐
qq_18668137的博客
07-02 8万+
深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stochast...
神经网络epoch、batch、batch size、step与iteration的具体含义介绍
疯狂学习GIS的博客
06-07 1485
本文介绍在机器学习、深度学习的神经网络模型中，epoch、batch、batch size、step与iteration等名词的具体含义~
神经网络的一些常规概念
影子
01-31 1167
当然，选择太小也不行，会浪费计算，时间成本高啊；学习率是步长超参数，人为选择，选择学习率时，步子太大即选择数值太大会反复横跳，步子太小会走得很慢浪费计算上面我们是用线性回归做预测函数的，实际情况中房价不仅与面积，还与城市、地段、政策等相关，那么预测函数就会是非线性甚至是曲面多维的各种复杂函数，对应的损失函数也可能是更复杂的，如。因为我们的目标是拟合出最接近这些数据分布的直线，也就是找到使得误差代价最小的参数w，对应在右图的损失函数图像上就是它的最低点，这个不断寻找最低点的过程就是梯度下降要干的活。
神经网络中的Epoch、Iteration、Batchsize
ywm_up
11-12 1524
总结：epoch=iteration∗batch_sizeepoch = iteration * batch\_sizeepoch=iteration∗batch_size １．batch_size batch_size：顾名思义就是批次大小，也就是一次训练选取的样本个数． batch_size的大小对模型的优化和速度都是很有影响的．尤其是你的GPU的个数不多时，最好不要把数值设置的很大。 batch_size的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。 全批次（蓝色）是全批次，也就是当数据集数
Caffe训练时Loss=87.3365问题
dc90000的博客
06-17 180
1. 问题分析 如图，在开始训练后， loss升高到87.3365后保持不变。这个问题是因为梯度爆炸导致的。 loss -= log(std::max(prob_data[i * dim + label_value * inner_num_ + j], Dtype(FLT_MIN))); 在softmax_loss_layer.cpp的原...
训练loss不下降原因集合
wan一张白纸
04-11 7486
一，train loss与test loss结果分析4666train loss 不断下降，test loss不断下降，说明网络仍在学习;train loss 不断下降，test loss趋于不变，说明网络过拟合;train loss 趋于不变，test loss不断下降，说明数据集100%有问题;train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数...
loss收敛过小或finetune时跑飞情况分析
CHNguoshiwushuang的博客
08-17 8269
   最近在跑REDNet去噪网络，基于pytorch框架，输入输出图像被归一化到了0-1之间，loss使用的是L2 loss，理论最终收敛值为33左右。结果在之前训练好模型的基础上finetune,出现了这种情况：    当使用L1或者输入为0-255时，并没有出现这种情况。这里使用L2 loss，输入0-1之间，loss先下降，再上升，这是很反常的，一般来说有以下问题导致...
Caffe 训练时loss等于87.33的原因及解决方法
jkfdqjjy的博客
08-21 1万+
如题，本文给出了caffe训练时loss为87.33的详细原因分析和解决方法

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值