优化算法个人学习笔记 Optimization algorithms
作者:arsoooo
1.1 Mini-batch 梯度下降(Mini-batch gradient descent)
向量化能够让你有效地对所有m个样本进行计算,允许你处理整个训练集,而无需某个明确的公式。
如果m很大的话,处理速度仍然缓慢。所以如果你在处理完整个500万个样本的训练集之前,先让梯度下降法处理一部分,你的算法速度会更快,你可以把训练集分割为小一点的子集训练,这些子集被取名为mini-batch。
1.2
Momentum或是RMSprop,Adam这样的算法,是能够加速学习算法,我暂时粗略看了一下,后面视情况更,如果有需要可以移步黄海广博士的笔记