caffe loss以及正则项反向传播过程

最新推荐文章于 2021-09-18 20:16:18 发布
最新推荐文章于 2021-09-18 20:16:18 发布
阅读量3.1k 收藏 3
点赞数 2
分类专栏： Deep Learning 文章标签： caffe-loss
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Buyi_Shizi/article/details/54093781
版权

概述

以前一直以为反向传播的过程是这样的，由Softmax计算得出分类loss，然后在加上L2正则项得出总的total_loss，然后再利用total_loss进行反向梯度的计算，而正则项会在每层的Forward函数中计算并返回，表面上感觉很对，但是实际分析就会发现这样想法不合理的地方，

  • 对正则项的计算，不同的solver是不一样的，而且正则项的方法也是有L2和L1, 每层layer的Forward函数在不知道正则方法和solver类型的情况下是不可能计算出正则结果的。

  • 对于用total_loss进行反向梯度传播，我们知道total_loss在每一层只和该层的权值有关系，而total_loss中包含着所有权值的正则化结果，这时候，如果我想把反向误差传播转化为矩阵运算，显然不行。

caffe中处理方法

首先需要声明的是，每一个layer的Forward函数的确有返回loss，但是这个loss函数不是表示正则项的结果，而是应付可能出现的如下情况：就是有些网络并不是在最后才进行Softmax的分类计算，有时候会在网络的中间插入Softmax分类，例如googLeNet。
所以在caffe中，loss和正则项的计算过程是下面的叙述这样的

计算Softmax分类loss

Softmax分类loss是在Network的最后一层SoftmaxWithLossLa

最低0.47元/天 解锁文章
Buyi_Shizi
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【AI】从正则化到反向传播——深度学习中的参数优化算法
禅与计算机程序设计艺术
08-24 206
随着人工智能技术的迅速发展，基于神经网络的机器学习方法越来越普及，深度学习已经成为当前最热门的研究方向之一。随着深度学习技术的不断革新，近几年来，许多领域的模型都采用了高度非凡的结构，如CNN、RNN、GAN等。这些模型的参数优化过程也同样变得十分复杂，为了训练出好的模型，需要对它们的超参数进行优化，而寻找一个合适的参数更新策略也是非常重要的。
L2正则化Regularization详解及反向传播的梯度求导
BrightLamp的博客
12-27 7316
摘要 本文解释L2正则化Regularization, 求解其在反向传播中的梯度, 并使用TensorFlow和PyTorch验证. 相关 系列文章索引 : https://blog.csdn.net/oBrightLamp/article/details/85067981 正文 1. L2 正则原理 若某一个神经网络存在一个参数矩阵 Wm×nW_{m\times n}Wm×n​, 该网络在训练时...
深度学习21天实战Caffe学习笔记--笔记5--caffe中前向传播、反向传播及最优化求解过程
乐兮山南水北的博客
07-27 2400
深度学习21天实战Caffe学习笔记--笔记5--caffe中前向传播与反向传播的计算
【日常】手写三层反向传播神经网络（损失函数交叉熵+正则项+反向求导）
热门推荐
一只热爱奔跑的程序猿
04-29 1万+
课程的一次作业，虽然没什么用，但是手写一遍dense确实能加深对神经网络的理解，尤其是反向传播求导这一块。 资源已经上传，不过最近CSDN犯病不能改资源积分了。留个BDY链接了
caffe之SoftmaxWithLoss层 自定义实现
花泽
05-25 5908
caffe中的各层实现，因为封装了各种函数和为了扩展，在提升了效率的同时，降低了一定的代码可读性，这里，为了更好地理解softmax以及caffe中前向传播和反向传播的原理，我用通俗易懂的代码实现了SoftmaxWithLoss层（以下简称loss层），进行前向传播和反向传播，得到的训练结果和内置的代码结果是一样的。        这里定义batch_size为网络输入的批大小，label_nu
反向传播算法中应用正则化参数---正则化概念学习1
rodneyzhaonet的专栏
09-25 1265
反向传播算法中应用正则化参数—正则化概念学习1
triplet loss caffe
02-21
标题“triplet loss caffe”涉及到的是深度学习领域中的一个关键概念——三元组损失（Triplet Loss），以及如何在Caffe框架下实现这一损失函数。Caffe是一款高效、开源的深度学习库，广泛应用于图像识别、物体检测等...
caffe_goturn模型以及描述文件.zip
08-04
标题中的“caffe_goturn模型”指的是一个基于Caffe框架的视觉对象跟踪（Object Tracking）模型，名为GOTURN（Gradient-based One-shot Tracker）。GOTURN是一种高效且准确的端到端深度学习模型，用于实时的目标跟踪...
Caffe-ExcitationBP-RNNs:RNN的激励反向传播
04-29
咖啡因刺激这是对RNN的Caffe激励Backprop的实现，如所述。 仅出于学术研究和非商业目的提供此软件实现。 提供的此实现不提供任何担保。先决条件与Caffe相同的先决条件Anaconda（Python软件包）快速开始将文件解压缩...
梯度反向传递(BackPropogate)的理解
genous110的博客
02-19 5105
PyTorch的学习和使用（六） 多个网络交替情况 最近使用PyTorch搭一个对抗网络，由于对抗网络又两个网络组成，其参数的更新也涉及到两个网络的交替。简单如下：生成器（generator）生成新的数据，辨别器（discrimator）用于判断数据是真实的还是生成的。通过训练辨别器使辨别器可以准确的分辨数据的真伪，通过训练生成器使辨别器无法分辨真伪。详见Generative Adversaria...
【吴恩达系列】machine learning课程补充----反向传播-优化算法+参数分析(L2正则/参数共享)
2020找offer
05-19 457
补充反向传播的优化算法1.4. 参考资料 反向传播的优化算法 1. 参数更新 在通过整个神经网络的一次正向过程之后，输出就是一个预测值 y^\hat{y}y^​。可以计算损失函数 LLL，这个案例中我们使用对数损失函数(log loss): L(y^,y)=[−ylog⁡(y^)−(1−y)log⁡(1−y^)] L(\hat{y},y)=[-y\log(\hat{y})-(1-y)\log(1-\hat{y})]L(y^​,y)=[−ylog(y^​)−(1−y)log(1−y^​)] 对任意的一个
深度学习中的梯度和反向传播过程
语雨听风的博客
06-13 1481
深度学习的反向传播过程
神经网络中的反向传播法
aabb7654321的博客
08-28 444
直观理解反向传播法 反向传播算法其实就是链式求导法则的应用。按照机器学习的通用套路，我们先确定神经网络的目标函数，然后用随机梯度下降优化算法去求目标函数最小值时的参数值。 反向传播算法 损失函数与正则化项 假设我们有一个固定样本集\(\{(x^{(1)},y^{(1)}),···,(x^{(m)},y^{(m)})\}\)它包含m个样本。我们可以用...
CV学习第四课——神经网络，反向传播和正则化
u012106517的博客
03-10 681
1.神经网络 神经网络参考文献如下： 1.神经网络的理解和实现 2.机器学习—有监督学习—神经网络算法(推导及代码实现) 1.1神经网络介绍 无论是线性回归还是逻辑回归都有一个缺点：当特征太多的时，计算负荷会非常大。例如在图片识别的模型中，由于每个像素都是255个特征，而一个50×50像素的小图片，都拥有巨大量的特征，普通的逻辑回归模型，不能有效处理这么多特征，这时我们需要神经网络算法。 如图所...
【caffe】caffe之SGD solver
大雄的专栏
12-15 685
理论介绍上式中，L(w)L(w)为前向loss，N为一个mini-batch的batchsize，fw(x(i))f_{w}(x^{(i)})是单个输入数据x(i)x^{(i)}的输出loss，λ\lambda 是正则项的权重，在caffe中是weight_decay，r(w)r(w)是一个关于参数ww的正则项，在caffe中默认为L2正则项，即r(w)=w2r(w)=w^{2}。在caffe中，f
Softmax-with-Loss层反向传播的值除以批的大小
for_balanced的博客
09-18 1203
  在学习《深度学习入门：基于 Python 的理论与实现》153页的代码时，我对SoftmaxWithLoss层的反向传播实现产生了疑问， class SoftmaxWithLoss: def __init__(self): self.loss = None # 损失 self.y = None # softmax的输出 self.t = None # 监督数据（one-hot vector） def forward(self, x, t): self.t = t self.
神经网络优化之正则化
阿兵-AI医疗的专栏
12-01 1226
正则化         为了避免过拟合问题，一个常用的方法是正则化（regularization）。正则化的思想就是在损失函数中加入刻画模型复杂的指标。假设用于刻画模型在训练数据上表现的损失函数为J(θ)，那么在优化时不是直接优化J(θ)，而是优化J(θ)+λR(w)，其中R(w)刻画的是模型的复杂度，而λ表示模型复杂...
如何反向求梯度？？？
cocofisher的博客
12-13 3661
计算图 用计算图来表示任何函数，其中图的节点表示我们要执行的每一步计算。如上图的线性分类器中，输入是xxx和WWW，∗*∗表示矩阵乘法，即W∗xW*xW∗x，输出得分向量。另一个节点表示 hinge loss，计算数据损失项LiL_{i}Li​，还有一个正则项，在右下角。在最后的总的损失LLL，是正则项和数据项的和。 画出计算图后，可以用链式求导法则得到每个节点的梯度。 (x+y)z的链式求导公式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值