深度学习
mdzzzzzz
这个作者很懒,什么都没留下…
展开
-
深度学习(一) cross-entropy和sofrmax
Cross-entropy神经网络的学习行为和人脑差的很多, 开始学习很慢, 后来逐渐增快为什么?学习慢 => 偏导数 ∂C/∂w 和 ∂C/∂b 值小回顾之前学习的Cost函数:回顾sigmoid函数:当神经元的输出接近1或0时,曲线很平缓,因而会使偏导数 ∂C/∂w 和 ∂C/∂b 值小,致使学习很慢如何增快学习?为此神经网络引入交叉熵代价函数cro原创 2017-09-19 11:21:15 · 16022 阅读 · 1 评论 -
深度学习(二)overfitting和regularization、dropout
Overfitting1.过度拟合(从知乎上看到的) (1)对于机器来说,在使用学习算法学习数据的特征的时候,样本数据的特征可以分为局部特征和全局特征,全局特征就是任何你想学习的那个概念所对应的数据都具备的特征,而局部特征则是你用来训练机器的样本里头的数据专有的特征. (2)在学习算法的作用下,机器在学习过程中是无法区别局部特征和全局特征的,于是机器在完成学习后,除了学原创 2017-09-19 11:29:20 · 3676 阅读 · 0 评论 -
Backpropagation算法
Backpropagation算法1.首先总结4个方程分别介绍: BP1:输出层的delta 也就是∂C/∂z,根据链接法则,∂C/∂z = ∂C/∂a * ∂a/∂z 注意这个*指的是点乘 也就是对应的元素相乘,而不是矩阵乘法对于不同Cost函数 有不同的 根据对应的Cost原创 2017-09-22 11:05:38 · 505 阅读 · 0 评论