![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 81
jetFlow
这个作者很懒,什么都没留下…
展开
-
TensorFlow中的梯度裁剪(Gradient Clipping)
梯度爆炸是深度学习中十分常见的现象,有时会导致寻优过程不收敛,或者算出来的结果干脆直接溢出,例如在Python里都是Nan,使迭代无法继续下去。TensorFlow里提供了一系列简单可行的梯度裁剪函数,方便我们对超过阈值的梯度值进行规约,使优化算法相对更加数值稳定。 TensorFlow里提供的几个Gradient Clipping函数都是以clip_by开头,分别是tf.clip_by_nor...原创 2018-05-02 01:12:56 · 12087 阅读 · 0 评论 -
步长大于1时卷积神经网的反向传播
关于卷积神经网络的正向和反向传播网上已经有了大量的技术指导,但是绝大部分都止步于卷积核步长为1,且通道数为1的简单的示意性的推导,当步长为2时,大多数的教程都语焉不详,或直接跳过。我在这里就对步长为2以上的卷积操作进行详细讨论。本文假设读者已经基本掌握神经网络的链式求导法则,所以不会再讲这些细节。另外,本文只考虑卷积操作的正向和反向传播,如果想对池化层的相应过程做了解可以直接移步参考文献。申明...原创 2018-04-29 01:08:13 · 1551 阅读 · 1 评论