深度学习
xuezhan123
这个作者很懒,什么都没留下…
展开
-
神经网络激活函数总结
激活函数的作用在线性不可分的情况下,激活函数可以给模型引入非线性因素。什么意思呢?比如下面异或问题。 x y z 1 0 1 0 1 1 1 1 0 0 0 0这个问题是线性不可分的,假设有一个单隐藏层的神经网络,如图: 上图线上数字表示权重,下面两个节点是异或问题的输入,中间隐藏层的1.5表...原创 2018-03-23 01:32:01 · 1930 阅读 · 0 评论 -
神经网络损失函数总结
常见的损失函数1.均方误差损失函数(MSE)J(θ)=∑ni=1(y(i)−y(i)′)2nJ(θ)=∑i=1n(y(i)−y(i)′)2nJ(\theta) =\frac{\sum_{i=1}^n(y^{(i)}-{y^{(i)}}^{'})^2}{n} 其中yyy是真值,y′y′y^{'}是预测值,它是W,b,xW,b,xW,b,x的函数。2.交叉熵损失函数(cross-entro...原创 2018-03-24 02:01:59 · 11473 阅读 · 0 评论 -
DNN反向传播推导过程
DNN反向传播推导简介如果对DNN前向传播,梯度下降不熟悉,建议先了解一下。这里假设DNN的损失函数如:J(W,b,x,y)=12||aL−y||22J(W,b,x,y)=12||aL−y||22J(W,b,x,y)=\frac{1}{2}||a^L-y||^2_2 其中输出层为第L层,输出结果aL=σ(zL)=σ(WLaL−1+bL)aL=σ(zL)=σ(WLaL−1+bL)a^L...翻译 2018-03-21 21:52:21 · 826 阅读 · 0 评论