![](https://img-blog.csdnimg.cn/20210108100927627.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Ag的深度学习笔记
文章平均质量分 94
by deeplearning.ai
hioog
这个作者很懒,什么都没留下…
展开
-
Optimization algorithms
优化算法 (一)Mini-batch gradient descent 如上图所示,批量梯度下降法对训练集的一轮处理只能得到一步梯度逼近,而小批量梯度下降法中对训练集的一轮处理也就是一次遍历,可以得到5000步梯度逼近。其中,训练集的一次遍历叫做一个epoch。 在批量梯度下降算法中,每一次迭代将遍历整个训练集,代价函数的值应该随之不断减小。如果某一次迭代值增加了,那么一定是哪里错了。也许是学习率设置的太大。 在小批量梯度下降中,并不是每一次迭代代价函数的值都会变小,但是整体趋势必须是向下的。之原创 2021-04-29 17:09:52 · 197 阅读 · 0 评论 -
Improving Deep Neural Networks
在实际应用中如何使得神经网络高效工作包括数据准备、超参调整、优化算法等。 (一)数据准备:Train / Dev / Test sets 目前应用机器学习是高度迭代的过程,而恰当地将机器学习任务的数据划分为训练集、开发集和测试集能有效提高迭代效率。其中: Training set:训练模型,尝试不同的模型结构 Dev set or hold-out cross validation set:选出不同训练模型中效果最好的 Test set:对效果最好的训练模型进行无偏评估,也就是对你最终所选取的模型给出可信原创 2021-04-26 19:11:18 · 156 阅读 · 0 评论