![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础
南风渐起
技术宅改变世界
展开
-
深度学习之反向传播算法
最近在看深度学习的东西,一开始看的吴恩达的UFLDL教程,有中文版就直接看了,后来发现有些地方总是不是很明确,又去看英文版,然后又找了些资料看,才发现,中文版的译者在翻译的时候会对省略的公式推...转载 2020-03-07 18:13:37 · 399 阅读 · 0 评论 -
MSE(均方误差)函数和RMSE函数
转载 2020-02-06 17:52:08 · 561 阅读 · 0 评论 -
梯度裁剪
深度神经网络训练的时候,采用的是反向传播方式,该方式背后其实是链式求导,计算每层梯度的时候会涉及一些连乘操作,因此如果网络过深,那么如果连乘的因子大部分小于1,最后乘积的结果可能趋于0,也就是梯度消失,后面的网络层的参数不发生变化,后面的层学不到东西,那么如果连乘的因子大部分大于1,最后乘积可能趋于无穷,这就是梯度爆炸 版权声明:本文为CSDN博主「sparksnail」的原创文章,遵循 CC ...转载 2020-02-04 19:20:36 · 126 阅读 · 0 评论