![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习-学习笔记
文章平均质量分 90
J_Wu
这个作者很懒,什么都没留下…
展开
-
深度学习-学习笔记(模型初始化)
最近看李沐老师的动手学深度学习,有很多收获,因此将老师讲课内容稍作总结,以便以后翻阅学习权重初始化由数值稳定性可知,为了使模型训练更加稳定,我们需要使梯度在一个合理的范围,以缓解梯度消失和梯度爆炸,其中一个常用的方法就是选择合适的权重初始化。使用N(0,0.01)正态分布来初始可能对小网络没问题,但不能保证深度神经网络。使每一层的均值和方差都保持一致如果使每一层的数值保持在一个相同的区间内,那么不管神经网络有多深,它的输出都是在一个特定的区间内,这是一个比较好的方法。(每一层的数值包括每.原创 2021-04-20 12:41:12 · 552 阅读 · 0 评论 -
深度学习-学习笔记(数值稳定性)
数值稳定性数值稳定性是神经网络模型一个非常重要的内容,模型不稳定一般与梯度消失和梯度爆炸有关。为了保持数值的稳定,我们需要选择合适的参数初始化方案和合理的非线性激活函数。梯度的表达...原创 2021-04-20 12:40:13 · 898 阅读 · 0 评论