常见机器学习和深度学习优化方法总结

机器学习

不管是机器学习还是深度学习，我们总是需要获得相应的优化方法获取方差的最优解，然后的到相应的模型参数去做预测，本篇博客将讨论机器学习和深度学习常用的优化求解方法。

梯度下降法

在机器学习领域，梯度下降的方法有三种，分别为：批量梯度下降（BGD）、随机梯度下降（SGD）、小批量梯度下降法MBGD，三种梯度下降方法，各有各自的优点和缺点。下面我们以 linear regression为例子来对三种梯度下降方法进行分析和比较。

对于数据而言，假设feature和label都满足线性关系，这样形成的线性模型如下所示：

X表示feature，$\theta$表示 parameter，h表示 label。直观上，我们需要训练误差最小的模型：

如果对目标函数求导，导数如下：

原始的梯度下降方法如下式所示：