python机器学习手写算法系列——优化器 Optimizers

本文用一个很简单的一元线性回归问题为例，实现了梯度下降(SGD), Momentum, Nesterov Accelerated Gradient, AdaGrad, RMSProp and Adam.

梯度下降

我们首先回顾一下梯度下降，以本系列第一篇文章《python机器学习手写算法系列——线性回归》为例。

目标函数：

$$y=f(\theta ,x)$$

线性回归目标函数为：

$$y=ax+b+\epsilon$$
$$\hat{y}=ax+b$$

损失函数为：

$$J(\theta )$$

线性回归损失函数为：

$$J(a,b)=\frac{1}{2n}\sum _{i=0}^n(y_i-{\hat{y}}_i{)}^2$$

优化函数：

$$\theta =\theta -\alpha \frac{\partial J}{\partial \theta }$$

对于一元线性回归的优化函数：

$$a=a-\alpha \frac{\partial J}{\partial a}$$
$$b=b-\alpha \frac{\partial J}{\partial b}$$

这里 $\frac{\partial J}{\partial a}$ 和 $\frac{\partial J}{\partial b}$ 分别是：

$$\frac{\partial J}{\partial a}=\frac{1}{n}\sum _{i=0}^{n}x({\hat{y}}_i-y_i)$$

$$\frac{\partial J}{\partial b}=\frac{1}{n}\sum _{i=0}^n({\hat{y}}_i-y_i)$$

这里$\hat{y}$是y的估计值，$\theta$是参数，$J$是损失函数，$\alpha$是学习率，下同。

这里用python实现的代码如下

def model(a, b, x):
    return a*x + b

def cost_function(a, b, x, y):
    n = 5
    return 0.5/n * (np.square(y-a*x-b)).sum()

def sgd(a,b,x,y):
    n = 5
    alpha = 1e-1
    y_hat = model(a,b,x)
    da = (1.0/n) * ((y_hat-y)