![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
改善深层神经网络(Andrew Ng)
改善深层神经网络(Andrew Ng)的Coursera的笔记
SuperFeHanHan
人生得意须尽憨!
展开
-
第一周:深度学习的实践
第一周:深度学习的实践1.0 重点:1.1 训练 / 开发 / 测试集1.2 偏差 / 方差1.3 机器学习的Basic Recipe1.4 ⚠️ 正则化1.5 为什么正则化可以减少过拟合?1.6 Dropout正则化具体实现:(Inverted Dropout)1.7 理解Dropout1.8 其他正则化数据增强:Early Stopping:1.9 正则化输入(Normalizing)具体实现:1.10 梯度消失与梯度爆炸1.11 神经网络的权重初始化一个神经元的例子激活函数tanh时对wiw_iwi原创 2020-07-30 16:10:38 · 359 阅读 · 0 评论 -
第二周:优化算法
第二周:优化算法2.0 重点2.1 Mini-batch 梯度下降法2.2 理解Mini-batch梯度下降法Batch和Mini-batch在Cost图像上的区别分类Mini-Batch大小的选择2.3 指数加权平均(Exponentially Weighted Avg)Python模拟:2.4 ⚠️理解指数加权平均怎么实现?与直接取平均的区别?2.5 指数加权平均的偏差修正2.6 ⚠️ 动量梯度下降法(Momentum)原理直观解释:2.7 RMSprop (Root Mean Square)原理直观解原创 2020-07-31 17:59:20 · 527 阅读 · 0 评论 -
第三周:超参数调整,批量标准化,编程框架
第三周:超参数调整,批量标准化,编程框架3.1 调试处理重要性排序如何选择超参数的值?3.2 ⚠️ 为超参数选择合适的范围实际上比较合理的方法:在对数尺寸上选Momentum上β\betaβ的例子3.3 超参数训练的实践3.4 ⚠️正则化网络(Batch Normalization)的激活函数具体实现3.5 将Batch Norm拟合进神经网络3.6 为什么BN奏效?3.7 ⚠️测试时的BN3.8 SoftMax回归3.9 训练一个SoftMax分类器例子SoftMax 常用的Loss Function和C原创 2020-08-02 15:50:39 · 170 阅读 · 0 评论