BigCowPeking

focal Loss梯度求导的链式法则：转载: https://blog.csdn.net/linmingan/article/details/77885832     反向传播网络的工作过程是首先进行信息的前馈，计算出各个节点的输入输出值，网络最终的输出，并把各个节点的输入输出值进行存储，利用损失函数求出最终的损失，然后进行损失的反向传播，在损失反向传播的过程中实际上是对各个节点的输出进行求梯度...

这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！softmax函数softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是更形象的如下图表示：softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作...

逻辑回归模型(Logistic Regression, LR)基础逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。本文主要详述逻辑回归模型的基础，至于逻辑回归模型的优化、逻辑回归与计算广告学等，请关注后续文章。1 逻辑回归模型    回归是一种...

机器学习中的范数规则化之L0、L1、L2范数及loss函数监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。　 最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太多，会导致我们的模型复杂度上升，容易过...

fasterRCNN中的RPN的回归框的loss计算方法再次深入的解读SmoothL1Loss损失函数：fasterRCNN中SmoothL1Loss的详解 

    推导梯度，其实是非常简单的，就是一个复合函数求导，不要害怕，高数那点东西够用了，链式法则也很简单的；博主自己推导了一下softmaxLoss，搜了一大遍，网上没有完整的推导，可能太简单了，自己就推导了一下，详细的过程见下文：   梯度更新的过程其实就是前向计算出来的值，反向的时候就可以直接使用，链式法则就是这样用的；...

多任务损失（来自Fast R-CNN） multi-task数据结构Fast R-CNN网络有两个同级输出层（cls score和bbox_prdict层），都是全连接层，称为multi-task。① clsscore层：用于分类，输出k+1维数组p，表示属于k类和背景的概率。对每个RoI（Region of Interesting）输出离散型概率分布通常，p由k+1类的全连接层利用softmax...

转载：https://blog.csdn.net/u014380165/article/details/76946339最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的center loss。center loss来自ECCV2016的一篇论文：A Discriminative Feature Learning Approach for Dee...

最大似然估计：就是什么样的参数才能使我们观测的这组数据的概率最大化.;我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，softmax loss，cross...

 在caffe中softmaxwithLoss是由两部分组成，softmax+Loss组成，其实主要就是为了caffe框架的可扩展性。  表达式（1）是softmax计算表达式，（2）是sfotmaxLoss的计算损失表达。在caffe中是单独的计算每层的输入和输出，然后再进行向后传递data结果和向前传递diff的结果。    caffe中softmax的计算：      如上所示；在resha...

1：BP神经网络梯度更新每一层的权值更新的详细步骤：详细的步骤：主要是写的太好了，我就不在编辑公式了！

1softmax函数softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 si = si/(si+sj+...sk)更形象的如下图表示：softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值， 而这些值...

1. 指数损失函数（Adaboost）学过Adaboost算法的人都知道，它是前向分步加法算法的特例，是一个加和模型，损失函数就是指数函数。在Adaboost中，经过m此迭代之后，可以得到fm(x):Adaboost每次迭代时的目的是为了找到最小化下列式子时的参数α和G：而指数损失函数(exp-loss）的标准形式如下可以看出，Adaboost的目标式子就是指数损失，在...