![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 57
luojiaao
这个作者很懒,什么都没留下…
展开
-
深度学习知识体系
广义网络结构: 前馈神经网络 卷积神经网络 循环神经网络LSTM GRU 双向循环神经网络bi-LSTM bi-GRU(了解)网络中的特殊单元: BN(为什么可以加快学习) 用1x1的感受域来减少变量数(为什么可以加快学习) 用两2层3x3的感受域的卷积,代替5x5感受域的卷积(为什么可以优化网络) 用1x3感受域的卷积加上3x1感受域的卷积来代替3x3感受域的卷积(为什么可以...原创 2018-09-10 19:15:03 · 763 阅读 · 0 评论 -
算法/深度学习/NLP面试题目
https://github.com/imhuay/Algorithm_Interview_Notes-Chinese原创 2018-09-26 14:12:08 · 2006 阅读 · 0 评论 -
机器学习论文
https://www.tinymind.cn/articles/papers原创 2018-09-26 14:14:19 · 1669 阅读 · 0 评论 -
EarlyStop
在训练中,我们希望在中间箭头的位置停止训练。而Early stopping就可以实现该功能,这时获得的模型泛化能力较强,还可以得到一个中等大小的w的弗罗贝尼乌斯范数。其与L2正则化相似,选择参数w范数较小的神经网络。可以用L2正则化代替early stopping。因为只要训练的时间足够长,多试几个lambda。总可以得到比较好的结果。Early stopping: 优点:只运行一次梯度下...原创 2018-09-27 17:17:27 · 3504 阅读 · 0 评论 -
千万小时机器学习训练后,我从趟过的坑中学习到的 16 个技巧!
原创 2018-10-10 12:31:41 · 592 阅读 · 0 评论 -
确定学习率的简单方法
一个简单的办法Leslie N. Smith 在2015年的一篇论文“Cyclical Learning Rates for Training Neural Networks”中的3.3节描述了一个非常棒的方法来找初始学习率,同时推荐大家去看看这篇论文,有一些非常启发性的学习率设置想法。这个方法在论文中是用来估计网络允许的最小学习率和最大学习率,我们也可以用来找我们的最优初始学习率,方法非常简...原创 2018-12-25 15:20:58 · 3421 阅读 · 1 评论