![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
激活函数
文章平均质量分 50
普通网友
这个作者很懒,什么都没留下…
展开
-
sigmod和tanh的区别
sigmod和tanh是两个比较常用的激活函数对比连接转载 2018-04-10 11:00:02 · 1121 阅读 · 0 评论 -
激活函数之tanh
1.tanh函数的公式 tanhx = (e^(x)-e^(-x)) /(e^x+e^(-x)) 2.tanh函数的图形转载 2017-05-10 17:21:42 · 12025 阅读 · 0 评论 -
深度学习之激活函数
sigmoid激活函数 sigmoid将一个实数输入映射到[0,1]范围内,如下图(左)所示。使用sigmoid作为激活函数存在以下几个问题: 梯度饱和。当函数激活值接近于0或者1时,函数的梯度接近于0。在反向传播计算梯度过程中:δ(l)=(W(l))Tδ(l+1)∗f′(z(L)),每层残差接近于0,计算出的梯度也不可避免地接近于0。这样在参数微调过程中,会引起参数弥散问题,传到前几层的...转载 2017-05-10 17:19:00 · 382 阅读 · 0 评论 -
Softmax学习笔记
在多分类神经网络的时候经常用到softmax函数作为激活函数,例如CNN,链接详细讲解了softmax的损失函数和误差训练函数。 http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92...原创 2017-06-04 19:43:38 · 465 阅读 · 0 评论 -
三种激活函数对比
激活函数的选取要避免出现梯度消失的问题和避免出现梯度下降速率过慢导致训练时间太久。学习连接转载 2018-04-11 14:33:24 · 977 阅读 · 0 评论 -
为什么用交叉熵作为损失函数?
学习连接一般我们使用平方差作为损失函数,(y^'-y)^2作为损失函数,这种损失函数在进行梯度下降计算的时候会出现梯度弥散,导致学习速率下降,使用交叉熵作为损失函数可以很好的解决这个问题。...转载 2018-04-11 14:49:04 · 1772 阅读 · 0 评论 -
logistic regression 和 softmax regression的损失函数
损失函数对比学习连接转载 2018-04-11 14:51:31 · 279 阅读 · 0 评论 -
梯度下降法更新参数
我们使用梯度下降法对参数进行更新学习连接转载 2018-04-11 15:00:06 · 3259 阅读 · 0 评论 -
以反馈神经网络为例讲解深度学习流程
import numpy as np #使用逻辑回归进行分类 def nonlin(x,deriv=False): if(deriv==True): return x*(1-x) return 1/(1+np.exp(-x)) #待分类的数据 X = np.array([ [0,0,1], [0,1,1], ...原创 2018-04-11 15:10:44 · 2494 阅读 · 0 评论