![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Andrew Ng 深度学习笔记
Originum
勤能补拙。邮箱:originum@126.com
展开
-
RMSprop、动量梯度下降法与Adam优化 [Andrew Ng 深度学习笔记]
如图: 对于蓝色的情况,由于梯度下降时来回摆动,导致收敛很慢 若增大学习率,结果可能偏离函数的范围,如紫色的情况。为了避免摆动过大,就必须使用较小的学习率,进一步降低了收敛速度 我们希望的是在纵轴上减缓学习,在横轴上加快学习,如红色的情况。有多种方法可以实现 动量梯度下降法(Momentum) 此处用了指数加权平均的更新方法 因为纵轴有许多摆动,在求平均的时候都可以被抵消,最后...原创 2019-05-19 14:50:56 · 819 阅读 · 0 评论 -
正则化(Regularization)分析 [Andrew Ng 深度学习笔记]
之前一直都是看别人的公式,不理解正则化为什么会work,看了吴恩达老师的课后,感觉明白了许多,在这里整理一下笔记 我感觉“正则化”这个词,在中文的语义看来有点奇怪,第一次看它感觉挺晦涩的 但是当看到它的英文是Regularization时,我感觉就好理解许多了 高方差(high variance)与过拟合(overfitting) 高方差就是指在训练集上表现良好(low train set...原创 2019-05-15 20:23:25 · 392 阅读 · 0 评论 -
Mini-batch\Batch\Stochastic梯度下降法 [Andrew Ng 深度学习笔记]
假设神经网络的成本函数为 其中 m 为训练样本的数目,全局的成本函数是对所有样本的成本函数求平均值 若样本数量很大,设为 M,现在考虑两种极端情况,再引出二者结合的“中庸”方法 先给出一幅图,这是吴恩达老师课件上的,分别表示三种方法的梯度下降情况 批量梯度下降(Batch Gradient Descent) 若每一次迭代都遍历整个训练集,也就是 m == M,这样迭代的“准确性”...原创 2019-05-19 12:05:08 · 417 阅读 · 0 评论 -
神经网络向量化与矩阵维度 [Andrew Ng 深度学习笔记]
成本函数: 单样本时,假设成本函数为: ,为预测值,为标签值 那么多样本时,假设样本数为 m, 成本函数为: 就是把每个样本分别算出成本函数再相加。大概的思路是把m个样本的每次实验当作独立同分布的,所以总共m次实验在概率上应该全部乘起来。对累乘的结果取对数,增减性不变。把对数符号里的累乘符号提出,就变成累加的了。 为了方便后续计算,使 m 不同时,成本函数依然在一个数量级(保...原创 2019-05-18 20:29:54 · 1661 阅读 · 0 评论