![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
好小的风
这个作者很懒,什么都没留下…
展开
-
DNN和RNN网络中的梯度消失/梯度爆炸问题
详解梯度消失/梯度爆炸的原因和LSTM的作用梯度消失/梯度爆炸是深度学习中老生常谈的话题,本文主要通过数学公式的推导来详解DNN和RNN网络中梯度消失/梯度爆炸问题,并且介绍了为什么LSTM能够在一定程度上缓解梯度消失/爆炸的现象。DNN中的梯度消失/爆炸原因以一个有2层隐藏层的DNN网络为例,相应的前向传播公式为:z^1=ϕ(w1v+b1)\hat{z}^1 = \phi(w^1v+b^...原创 2020-02-14 22:39:53 · 1313 阅读 · 0 评论 -
关于VAE中KL散度项的推导
关于VAE中KL散度项的推导最近在看 Variational AutoEncoder,其中论文《Auto-Encoding Variational Bayes》中的Eq.(10)怎么也推不出来,看了一下Appendix B,只给出了KL散度项,没有给出具体的计算过程,如下图:于是决定自己推导一下,主要也是暴力求解,参考 [ Gaussian Integrals ]:...原创 2019-04-19 10:43:15 · 3587 阅读 · 3 评论 -
基于numpy实现离散卷积和CNN
复习了一下离散卷积,主要的步骤就是翻转、平移、相乘复习了一下CNN的简单过程,并且看了一些卷机神经网络(CNN)反向传播算法,这个反向传播确实要比DNN的复杂一些,等过段时间写个博客总结一下吧。基于numpy实现离散卷积def conv(lst1, lst2): res = [] lst1.reverse() len1 = len(lst1) len2 = ...原创 2019-08-23 17:28:45 · 511 阅读 · 0 评论