caffe loss以及正则项反向传播过程

最新推荐文章于 2022-08-22 09:29:22 发布
最新推荐文章于 2022-08-22 09:29:22 发布
阅读量3.1k 收藏 3
点赞数 2
分类专栏： Deep Learning 文章标签： caffe-loss
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Buyi_Shizi/article/details/54093781
版权

概述

以前一直以为反向传播的过程是这样的，由Softmax计算得出分类loss，然后在加上L2正则项得出总的total_loss，然后再利用total_loss进行反向梯度的计算，而正则项会在每层的Forward函数中计算并返回，表面上感觉很对，但是实际分析就会发现这样想法不合理的地方，

  • 对正则项的计算，不同的solver是不一样的，而且正则项的方法也是有L2和L1, 每层layer的Forward函数在不知道正则方法和solver类型的情况下是不可能计算出正则结果的。

  • 对于用total_loss进行反向梯度传播，我们知道total_loss在每一层只和该层的权值有关系，而total_loss中包含着所有权值的正则化结果，这时候，如果我想把反向误差传播转化为矩阵运算，显然不行。

caffe中处理方法

首先需要声明的是，每一个layer的Forward函数的确有返回loss，但是这个loss函数不是表示正则项的结果，而是应付可能出现的如下情况：就是有些网络并不是在最后才进行Softmax的分类计算，有时候会在网络的中间插入Softmax分类，例如googLeNet。
所以在caffe中，loss和正则项的计算过程是下面的叙述这样的

计算Softmax分类loss

Softmax分类loss是在Network的最后一层SoftmaxWithLossLa

最低0.47元/天 解锁文章
Buyi_Shizi
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【AI】从正则化到反向传播——深度学习中的参数优化算法
禅与计算机程序设计艺术
08-24 206
随着人工智能技术的迅速发展，基于神经网络的机器学习方法越来越普及，深度学习已经成为当前最热门的研究方向之一。随着深度学习技术的不断革新，近几年来，许多领域的模型都采用了高度非凡的结构，如CNN、RNN、GAN等。这些模型的参数优化过程也同样变得十分复杂，为了训练出好的模型，需要对它们的超参数进行优化，而寻找一个合适的参数更新策略也是非常重要的。
L2正则化Regularization详解及反向传播的梯度求导
BrightLamp的博客
12-27 7316
摘要 本文解释L2正则化Regularization, 求解其在反向传播中的梯度, 并使用TensorFlow和PyTorch验证. 相关 系列文章索引 : https://blog.csdn.net/oBrightLamp/article/details/85067981 正文 1. L2 正则原理 若某一个神经网络存在一个参数矩阵 Wm×nW_{m\times n}Wm×n​, 该网络在训练时...
深度学习21天实战Caffe学习笔记--笔记5--caffe中前向传播、反向传播及最优化求解过程
乐兮山南水北的博客
07-27 2400
深度学习21天实战Caffe学习笔记--笔记5--caffe中前向传播与反向传播的计算
【日常】手写三层反向传播神经网络（损失函数交叉熵+正则项+反向求导）
热门推荐
一只热爱奔跑的程序猿
04-29 1万+
课程的一次作业，虽然没什么用，但是手写一遍dense确实能加深对神经网络的理解，尤其是反向传播求导这一块。 资源已经上传，不过最近CSDN犯病不能改资源积分了。留个BDY链接了
caffe之SoftmaxWithLoss层 自定义实现
花泽
05-25 5907
caffe中的各层实现，因为封装了各种函数和为了扩展，在提升了效率的同时，降低了一定的代码可读性，这里，为了更好地理解softmax以及caffe中前向传播和反向传播的原理，我用通俗易懂的代码实现了SoftmaxWithLoss层（以下简称loss层），进行前向传播和反向传播，得到的训练结果和内置的代码结果是一样的。        这里定义batch_size为网络输入的批大小，label_nu
反向传播算法中应用正则化参数---正则化概念学习1
rodneyzhaonet的专栏
09-25 1265
反向传播算法中应用正则化参数—正则化概念学习1
triplet loss caffe
02-21
标题“triplet loss caffe”涉及到的是深度学习领域中的一个关键概念——三元组损失（Triplet Loss），以及如何在Caffe框架下实现这一损失函数。Caffe是一款高效、开源的深度学习库，广泛应用于图像识别、物体检测等...
caffe_goturn模型以及描述文件.zip
08-04
标题中的“caffe_goturn模型”指的是一个基于Caffe框架的视觉对象跟踪（Object Tracking）模型，名为GOTURN（Gradient-based One-shot Tracker）。GOTURN是一种高效且准确的端到端深度学习模型，用于实时的目标跟踪...
Caffe-ExcitationBP-RNNs:RNN的激励反向传播
04-29
咖啡因刺激这是对RNN的Caffe激励Backprop的实现，如所述。 仅出于学术研究和非商业目的提供此软件实现。 提供的此实现不提供任何担保。先决条件与Caffe相同的先决条件Anaconda（Python软件包）快速开始将文件解压缩...
梯度反向传递(BackPropogate)的理解
genous110的博客
02-19 5103
PyTorch的学习和使用（六） 多个网络交替情况 最近使用PyTorch搭一个对抗网络，由于对抗网络又两个网络组成，其参数的更新也涉及到两个网络的交替。简单如下：生成器（generator）生成新的数据，辨别器（discrimator）用于判断数据是真实的还是生成的。通过训练辨别器使辨别器可以准确的分辨数据的真伪，通过训练生成器使辨别器无法分辨真伪。详见Generative Adversaria...
【吴恩达系列】machine learning课程补充----反向传播-优化算法+参数分析(L2正则/参数共享)
2020找offer
05-19 457
补充反向传播的优化算法1.4. 参考资料 反向传播的优化算法 1. 参数更新 在通过整个神经网络的一次正向过程之后，输出就是一个预测值 y^\hat{y}y^​。可以计算损失函数 LLL，这个案例中我们使用对数损失函数(log loss): L(y^,y)=[−ylog⁡(y^)−(1−y)log⁡(1−y^)] L(\hat{y},y)=[-y\log(\hat{y})-(1-y)\log(1-\hat{y})]L(y^​,y)=[−ylog(y^​)−(1−y)log(1−y^​)] 对任意的一个
深度学习中的梯度和反向传播过程
语雨听风的博客
06-13 1481
深度学习的反向传播过程
神经网络中的反向传播法
aabb7654321的博客
08-28 443
直观理解反向传播法 反向传播算法其实就是链式求导法则的应用。按照机器学习的通用套路，我们先确定神经网络的目标函数，然后用随机梯度下降优化算法去求目标函数最小值时的参数值。 反向传播算法 损失函数与正则化项 假设我们有一个固定样本集\(\{(x^{(1)},y^{(1)}),···,(x^{(m)},y^{(m)})\}\)它包含m个样本。我们可以用...
CV学习第四课——神经网络，反向传播和正则化
u012106517的博客
03-10 681
1.神经网络 神经网络参考文献如下： 1.神经网络的理解和实现 2.机器学习—有监督学习—神经网络算法(推导及代码实现) 1.1神经网络介绍 无论是线性回归还是逻辑回归都有一个缺点：当特征太多的时，计算负荷会非常大。例如在图片识别的模型中，由于每个像素都是255个特征，而一个50×50像素的小图片，都拥有巨大量的特征，普通的逻辑回归模型，不能有效处理这么多特征，这时我们需要神经网络算法。 如图所...
【caffe】caffe之SGD solver
大雄的专栏
12-15 685
理论介绍上式中，L(w)L(w)为前向loss，N为一个mini-batch的batchsize，fw(x(i))f_{w}(x^{(i)})是单个输入数据x(i)x^{(i)}的输出loss，λ\lambda 是正则项的权重，在caffe中是weight_decay，r(w)r(w)是一个关于参数ww的正则项，在caffe中默认为L2正则项，即r(w)=w2r(w)=w^{2}。在caffe中，f
损失函数与反向传播
qq_52237775的博客
02-05 4642
损失函数定义与作用 损失函数(loss function)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。 1.损失函数越小越好 2.计算实际输出与目标之间的差距 3.为更新输出提供依据（反向传播) 常见的损失函数 回归常见的损失函数有：均方差（Mean Squared Error，MSE）、平均绝对误差（Mean Absolute Error Loss，MAE）、Huber Loss是一种将MSE与MAE结合起来，取两者优点的损失函数，也被称作Smooth Mean Absolute Er
Softmax-with-Loss层反向传播的值除以批的大小
for_balanced的博客
09-18 1199
  在学习《深度学习入门：基于 Python 的理论与实现》153页的代码时，我对SoftmaxWithLoss层的反向传播实现产生了疑问， class SoftmaxWithLoss: def __init__(self): self.loss = None # 损失 self.y = None # softmax的输出 self.t = None # 监督数据（one-hot vector） def forward(self, x, t): self.t = t self.
手撕CNN神经网络（二）反向传播（back propagation）
最新发布
debby233的博客
08-22 1323
反向传播简单来说就是通过求偏导数从而更新神经网络中权重w的过程首先先简单复习一下前向传播（forward propagation）篇幅有限，bias（b）在图中就没画出来，大家知道有这么个东西就好 ，顺便再偷个懒，输出层的激活函数忘记画上去了~在正式说反向传播之前，先说两个简单的概念。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值