![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
de坚果
这个作者很懒,什么都没留下…
展开
-
训练深度网络的梯度弥散及梯度膨胀问题
在深度网络中,不同层的学习速度差异很大。尤其是在网络后面层学习的情况很好的时候,先前的层常常会在训练时停止不变,基本上学不到东西,这些原因是与基于梯度的学习方法有关。我们用MNIST数字分类问题作为研究和实验的对象:这个网络有784个输入神经元,对应于图片28*28=784个像素点,我们设置隐藏神经元为30个,输出层为10个神经元,对应于MNIST的10个数字(0~9),我们训练30epo原创 2015-12-27 12:32:40 · 9810 阅读 · 0 评论 -
训练深度模型的优化问题(十)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:13:32 · 447 阅读 · 0 评论 -
训练深度模型的优化问题(十一)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:32:13 · 334 阅读 · 0 评论 -
训练深度模型的优化问题(十二)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:38:28 · 479 阅读 · 0 评论 -
训练深度模型的优化问题(十三)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:40:26 · 428 阅读 · 0 评论 -
训练深度模型的优化问题(十四)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:41:49 · 454 阅读 · 0 评论 -
训练深度模型的优化问题(十五)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:43:03 · 422 阅读 · 0 评论 -
训练深度模型的优化问题(十六)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:47:35 · 386 阅读 · 0 评论 -
训练深度模型的优化问题(十七)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:50:00 · 368 阅读 · 0 评论 -
训练深度模型的优化问题(十八)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:50:57 · 372 阅读 · 0 评论 -
训练深度模型的优化问题(九)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:01:41 · 547 阅读 · 0 评论 -
训练深度模型的优化问题(八)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 20:59:28 · 432 阅读 · 0 评论 -
训练深度模型的优化问题(七)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 20:56:27 · 478 阅读 · 0 评论 -
Deep Residual Learning for Image Recognition
Deep Residual Learning for Image Recognition中提出的152层网络结构在ILSRC 2015获得第一名,集成后的网络在ImageNet分类错误率3.57%,作者微软研究院的何凯明等。 上图中两条曲线分别为20层和56层的“plain”网络在训练集和测试集上的错误率,这里的“plain”是指一般的无环的“直流”卷积网络。按照以往的经原创 2016-01-08 18:57:25 · 1562 阅读 · 0 评论 -
Training Very Deep Networks
这篇文章提出一种训练深层网络的训练结构-highway,主要的来源于LSTM中的阀门开关的思想。highway的提出使得可以使用梯度下降可以直接训练较深的卷积神经网络。plain网络前向过程为:其中H为非线性激活函数。对于highway网络来说在上述的基础上又引入了两个非线性变换T和C,则highway为:其中T为transform gate,C为carry gat原创 2016-01-08 20:08:04 · 709 阅读 · 0 评论 -
训练深度模型的优化问题(一)
训练深度模型的优化算法及相关问题原创 2015-12-25 20:35:46 · 502 阅读 · 0 评论 -
训练深度模型的优化问题(二)
深度学习优化算法及相关问题原创 2015-12-25 20:45:58 · 394 阅读 · 0 评论 -
训练深度模型的优化问题(三)
训练深度模型算法的优化问题原创 2015-12-25 20:47:23 · 402 阅读 · 0 评论 -
训练深度模型的优化问题(四)
训练深度模型的优化问题原创 2015-12-25 20:49:03 · 393 阅读 · 0 评论 -
训练深度模型的优化问题(五)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 20:53:15 · 431 阅读 · 0 评论 -
训练深度模型的优化问题(六)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 20:54:34 · 523 阅读 · 0 评论 -
训练深度模型的优化问题(十九)
训练深度模型的优化问题,参考Bengio《Deep Learning》原创 2015-12-25 21:52:16 · 616 阅读 · 0 评论