梯度下降法学习及实现

##什么是梯度下降法

梯度下降法***不是一种机器学习算法，而是一种基于搜索的最优化方法。
梯度下降法的作用在于***最小化***损失函数(目标函数)
与梯度下降法相对的是***梯度上升法，梯度上升法在于***最大化***一个效用函数(目标函数)
$\star$使用梯度下降法之前，最好对数据进行归一化（正规化）处理。

图解

$\eta$成为学习率(learning rate)
$\eta$的取值影响获得最优解的速度；太小，收敛速度慢，太大收敛速度快，甚至无最优解。
$\eta$取值不合理，甚至不能得到最优解
$\eta$是梯度下降法的超参数

简单梯度下降法实现

一元二次方程梯度实现求极值。

import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-1,6,141)
y = (x-2.5)**2 -1
plt.plot(x,y )

###代码实现：

def dJ(theta):
	'''定义求导函数'''
    return 2*(theta-2.5)

def J(theta):
	'''定义损失函数'''
    return (theta-2.5)**2 -1

# 实现梯度下降搜索算法
eta = 0.1
epsilon = 1e-8
theta = 0.0
while True:
    grd = dJ(theta)
    last_theta = theta
    theta = theta - eta * grd
    if abs(J(theta) - J(last_theta)) < epsilon:
        break

print(theta)
print(J(theta))
print(dJ(theta))

---

$\star$问题：可能得到局部最优解，而非全局最优解
解决办法：多次运行随机化初始点，初始点也是一个超参数。

实现线性回归的梯度下降法

目标函数尽可能小：
$$J(\theta )=\sum _{i=1}^m(y^i-{\hat{y}}^i{)}^2\Rightarrow \sum _{i=1}^m(y^i-{\theta }_0-{\theta }_1{x}_1^i-{\theta }_2{x}_2^2-...-{\theta }_n{x}_n^i{)}^2\Rightarrow (y-X_b\bullet \theta {)}^T\bullet (y-X_b\bullet \theta )$$

一般采用均值作为目标函数：

$$\frac{1}{m}J(\theta )=\frac{1}{m}(y-X_b\bullet \theta {)}^T\bullet (y-X_b\bullet \theta )$$
其中:
$$X_b=\left(\begin{array}{ccccc}1& x_1^1& x_2^1& \cdots & x_n^1\\ 1& x_1^2& x_2^2& \cdots & x_n^2\\ ⋮& ⋮& \ddots & ⋮& \\ 1& x_1^i& x_2^i& \cdots & x_n^i\end{array}\right)$$

损失(目标)函数对$\theta$求梯度：

$$\nabla J(\theta )=\left(\begin{array}{c}\frac{\partial J}{\partial {\theta }_0}\\ \frac{\partial J}{\partial {\theta }_1}\\ ⋮\\ \frac{\partial J}{\partial {\theta }_n}\end{array}\right)\Rightarrow \left(\begin{array}{c}{\sum }_{i=1}^{m}2(y^i-X_b^i\bullet \theta )(-1)\\ {\sum }_{i=1}^{m}2(y^i-X_b^i\bullet \theta )(-x_1^i)\\ {\sum }_{i=1}^{m}2(y^i-X_b^i\bullet \theta )(-x_2^i)\\ ⋮\\ {\sum }_{i=1}^{m}2(y^i-X_b^i\bullet \theta )(-x_n^i)\end{array}\right)\Rightarrow 2\left(\begin{array}{c}{\sum }_{i=1}^m(X_b^i\bullet \theta -y^i)\\ {\sum }_{i=1}^m(X_b^i\bullet \theta -y^i)x_1^i\\ {\sum }_{i=1}^m(X_b^i\bullet \theta -y^i)x_2^i\\ ⋮\\ {\sum }_{i=1}^m(X_b^i\bullet \theta -y^i)x_n^i\end{array}\right)$$

梯度表达式向量化：

$$\nabla J(\theta )=\frac{2}{m}(X_b\bullet \theta -y{)}^T\bullet X_b\Rightarrow 整体转置成列向量：\frac{2}{m}{X}_b^T\bullet (X_b\bullet \theta -y)$$

代码实现

    def fit_gd(self, X_train, y_train, eta=0.01, n_iters=1e4):

        def J(theta, X_b, y):
            try:
                return np.sum((y - X_b.dot(theta)) ** 2) / len(y)
            except:
                return float('inf')

        def dJ(theta, X_b, y):
            return X_b.T.dot(X_b.dot(theta) - y) * 2. / len(X_b)

        def gradient_descent(X_b, y, initial_theta, eta, n_iters=1e4, epsilon=1e-8):

            theta = initial_theta
            cur_iter = 0

            while cur_iter < n_iters:
                gradient = dJ(theta, X_b, y)
                last_theta = theta
                theta = theta - eta * gradient
                if (abs(J(theta, X_b, y) - J(last_theta, X_b, y)) < epsilon):
                    break

                cur_iter += 1

            return theta

        X_b = np.hstack([np.ones((len(X_train), 1)), X_train])
        initial_theta = np.zeros(X_b.shape[1])
        theta = gradient_descent(X_b, y_train, initial_theta, eta, n_iters)
        return theta

后续还可以对$J(\theta )$添加L1或L2正则化项，实现对$\theta$的惩罚。

学习笔记参考：
《机器学习实战》和《Python3入门机器学习 经典算法与应用》