激活函数 损失函数 优化器

均方差损失函数+Sigmoid的反向传播算法中,每一层向前递推都要乘以σ′(z)(激活函数的导数),得到梯度变化值。Sigmoid的这个曲线意味着在大多数时候,我们的梯度变化值很小,导致我们的W,b更新到极值的速度较慢,也就是我们的算法收敛速度较慢。
使用交叉熵损失函数,得到的梯度表达式没有了σ′(z),梯度为预测值和真实值的差距,这样求得的Wl,bl的梯度也不包含σ′(z),因此避免了反向传播收敛速度慢的问题。
如果我们使用了sigmoid激活函数,交叉熵损失函数肯定比均方差损失函数好用。

对于用于分类的softmax激活函数,对应的损失函数一般都是用对数似然函数,即:
 

对于梯度爆炸,则一般可以通过调整我们DNN模型中的初始化参数得以解决。
对于无法完美解决的梯度消失问题,目前有很多研究,一个可能部分解决梯度消失问题的办法是使用ReLU(Rectified Linear Unit)激活函数。
http://www.cnblogs.com/pinard/p/6437495.html

Cross Entropy损失函数常用于分类问题中,但是为什么它会在分类问题中这么有效呢?
 
其中:
- M——类别的数量;
- y——指示变量(0或1),如果该类别和样本的类别相同就是1,否则是0;
- p——对于观测样本属于类别c的预测概率。

由于交叉熵涉及到计算每个类别的概率,所以交叉熵几乎每次都和softmax函数一起出现。
 

 
交叉熵损失函数是凸函数,求导时能够得到全局最优值。
使用交叉熵损失函数,不仅可以很好的衡量模型的效果,又可以很容易的的进行求导计算。

Mean Squared Error (均方误差)
 
逻辑回归配合MSE损失函数时,采用梯度下降法进行学习时,会出现模型一开始训练时,学习速率非常慢的情况
https://zhuanlan.zhihu.com/p/35709485

损失函数的选择往往也是结合激活函数来的:
sigmoid系之外的激活函数 + MSE
sigmoid + Cross Entropy
Softmax + Cross Entropy
https://blog.csdn.net/u012193416/article/details/79520862

梯度消逝和损失函数关系不大。
https://www.zhihu.com/question/265823997

 
z4 = w41*o1+w42*o2+w43*o3
z5 = w51*o1+w52*o2+w53*o3
z6 = w61*o1+w62*o2+w63*o3

交叉熵函数形式如下:
 

为了形式化说明,我这里认为训练数据的真实输出为第j个为1,其它均为0!
那么形式变为 
 

https://zhuanlan.zhihu.com/p/25723112

Batch gradient descent(BGD)
 
在一次更新中,就对整个数据集计算梯度,所以计算起来非常慢,遇到很大量的数据集也会非常棘手

Stochastic gradient descent(SGD)
 
和 BGD 的一次用所有数据计算梯度相比,SGD 每次更新时对每个样本进行梯度更新。
SGD 一次只进行一次更新,就没有冗余,而且比较快,并且可以新增样本。
但是 SGD 因为更新比较频繁,会造成 cost function 有严重的震荡。

随机也就是说我们用样本中的一个例子来近似我所有的样本,来调整θ
在深度学习中,用的比较多的是mini-batch梯度下降。
https://www.zhihu.com/question/264189719

Mini-batch gradient descent(MBGD)
 
MBGD 每一次利用一小批样本,即 n 个样本进行计算。
和 SGD 的区别是每一次循环不是作用于每个样本,而是具有 n 个样本的批次。

超参数设定值: 
n 一般取值在 50~256

Mini-batch gradient descent 不能保证很好的收敛性,learning rate 如果选择的太小,收敛速度会很慢,如果太大,loss function 就会在极小值处不停地震荡甚至偏离。

SGD 虽然能达到极小值,但是比其它算法用的时间长,而且可能会被困在鞍点。
如果数据是稀疏的,就用自适用方法,即 Adagrad, Adadelta, RMSprop, Adam。
整体来讲,Adam 是最好的选择。
https://blog.csdn.net/aliceyangxi1987/article/details/73210204

一个不是局部极值点的驻点(驻点就是一阶导数为 0 的点)称为鞍点。
https://blog.csdn.net/jningwei/article/details/79801699
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WX Chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值