对机器学习中的优化算法的整理

梯度下降法

梯度下降法是一种寻找目标函数最小化的方法。从梯度方向，是数值下降最快的方向，在机器学习中，根据数据集使用方式不同分为batch，stochastic和mini-batch 三种。

1.Batch Gradient Descent（BGD）

批量梯度下降法，是梯度下降法最常用的形式，具体做法也就是在更新参数时使用所有的样本来进行更新。也就是说：
步骤一：所有的样本跑一遍，记录下w和b的值
步骤二：更新真正的 w和b
重复步骤一 直到 w和b收敛或者准确度收敛

2.Stochastic Gradient Descent（SGD）

随机梯度下降法与batch背道而驰，它对于每个样本都进行更新，也就是说每次都更新真正的w和b ，也就是说：
步骤一 ：读取一个样本
步骤二： 更新真正的w和b
重复步骤一 直到 w和b收敛或者准确度收敛

3.Mini-batch Gradient Descent（MBGD）

顾名思义，小批量梯度下降法就是对于 M 个样本，我们采用X个样本来迭代， $1<X<M$ 。一般可以取 8,16,32,64 ，当然根据样本的数据，可以调整这个x的值。也就是说：
步骤一：将X个样本跑一遍，记录下w和b的值
步骤二：更新真正的 w和b
步骤三：更新X到一个分区如[0,16],[17-32],[33,48]…[M-16,M] 这种。
重复步骤一 直到 w和b收敛或者准确度收敛

核心的操作步骤

1. 选择一个目标函数f(x)
2. 做优化函数$$g=\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
3. 求使得g最小的f() ,也就是我们权值矩阵w。直接进行一次导数，然后使用梯度下降法进行最优化的迭代
   【题外话】写道这里，我突然有种感觉 最小二乘法是构造目标函数用的 ，而梯度下降法是求解最小值的 ，或者他们就不用放在一起讨论 ，也许 最小二乘法应该是和最大似然函数法和贝叶斯那些在一起讨论的，嘿嘿突然想到-end 。

牛顿法

当使用牛顿法进行求根运算的时候，牛顿法是一维的，当牛顿法用于求极值的时候牛顿法就是二维的，为什么这么说呢？
牛顿法的本质是：通过迭代，逐步逼近目标值，也就是我们求的根或者是极值点。
当使用 牛顿法进行求根操作时：
$$\theta :\theta -\frac{f(\theta )}{f^{{}^{\prime }}(x)}$$
但是，当你使用牛顿法求解极值的时候，整个函数都会向上升一阶：
$$\theta :\theta -\frac{f^{{}^{\prime }}(\theta )}{f^{{}^{\prime \prime }}(x)}$$
因此 牛顿法是二阶收敛，现在理解的还不是很深刻 等以后再去不去补全吧
未完待续…