- 博客(3)
- 收藏
- 关注
RSS订阅原创 神经网络之损失函数
对于损失函数一直处于混乱理解的状态，L2=1/2 ||a-y||^2 ,对于其他的类似于交叉信息熵感觉很高大上的样子，但是到底是怎么回事呢？今天我就一探究竟！我们都知道，神经网络模型训练得以实现是经过前向传播计算LOSS，根据LOSS的值进行反向推到，进行相关参数的调整。可见，LOSS是指导参数进行调整的方向性的指导，很关键，正如在梯度下降中看到的图一样，如果LOSS随意指示下降的方向，那么可能无论
2017-04-27 11:56:31
17045
1
原创 激活函数的区别优缺点对比
Sigmoidsigmoid非线性激活函数的公式是，如上上图左。之前的章节提过，它将实数压缩到0 1 区间。而且，大的负数变成0，大的正数变成1。sigmoid函数由于其强大的解释力，在历史上被最经常地用来表示神经元的活跃度：从不活跃（0）到假设上最大的（1）。在实践中，sigmoid函数最近从受欢迎到不受欢迎，很少再被使用。它有两个主要缺点： 1.sigmoid过饱和、丢失了梯度。sigmoid
2017-04-11 17:30:41
9707
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人