梯度下降法（五）

1.梯度下降法

梯度下降法（Gradient Descent，GD）不是一个机器学习方法，而是一种基于搜索的最优化方法。
根据上文提到的线下回归算法中的损失函数J(a,b)，我们目标就是寻找a,b，使得损失函数最小，这时我们可以利用梯度下降法来对损失函数参数进行优化，使得损失函数最小。
假设损失函数为J(θ)，θ是一个变量，为了更好理解，θ不是向量，假设J(θ)关于θ的函数为：


该函数为一个对称的曲线，要想找到该曲线的最小值，如果简单通过随机选择1000个值或更多的值进行带入，选取其中最小的损失值，那是不合理的。
而梯度下降法就是通过抓住参数与损失函数之间的导数（即梯度）来辨别曲线的方向，然后找到损失函数的极值或者朝最小损失函数不断靠拢。导数代表θ单位变化时，J相应的变化，同时导数也代表了损失函数变化的方向，即如下图所示，

说白点我们把整个寻找最小损失函数的过程可以看成是一个下山的过程，如何找到山谷。如果取得参数θ是在曲线对称轴左边，对θ求导后，该点斜率为负数，往左走为是上坡，往右走为下坡，确定了方向，那么选多大的步伐往下走呢，即：

但是步伐太大容易越过最小值，一直找不到合适的点。

如果步伐太小则效率太低，要走很多步，如下图所示：

因此选择合适η很重要，η称为学习率（learning rate），η的取值影响获得最优解的速度；η取值不合适，甚至得不到最优解；η是梯度下降法的一个超参数。

2.线性回归中梯度下降法

上节中我们知道线性回归中的目标是：

将下面多元线性回归函数带入上式：

得使：

即多元线性回归函数的梯度为：

有时候样本太大，将损失函数除以m,即为：

有时也为：

一般将损失写为：

3.Python实现简单二次函数梯度下降法

import numpy as np
from matplotlib import pyplot as plt
import math

def dJ(theta):
    return 2*(theta-2.5)
def J(theta):
    return (theta-2.5)**2-1
def gradient_descent(initial_theta,eta,epsilon=1e-8):  
	theta=initial_theta   
	theta_history.append(initial_theta) 
    while True:
        gradient=dJ(theta)      
	last_theta=theta       
	theta=theta-eta*gradient       
	theta_history.append(theta)       
	if(abs(J(theta)-J(last_theta))<epsilon):
            break
def plot_theta_history():  
	plt.plot(plot_x,J(plot_x))  
	plt.plot(np.array(theta_history),J(np.array(theta_history)),color='r',marker='o')
 	plt.xlabel('θ')
	plt.ylabel('J(θ)')
	plt.show()

plot_x=np.linspace(-1,6,141)
plot_y=(plot_x-2.5)**2-1以下图标有改动
eta=0.2
theta_history=[]
gradient_descent(0.,eta)
plot_theta_history()

4.线性回归梯度下降法Python实现

import numpy as np
from matplotlib import pyplot as plt
import math
def J(theta,x_b,y):
    try:
        return np.sum((y-x_b.dot(theta))**2)/len(x_b)
    except:
        return float('inf')
 def dJ(theta,x_b,y):
    res=np.empty(len(theta))
    res[0]=np.sum(x_b.dot(theta)-y)
    for i in range(1,len(theta)):
        res[i]=(x_b.dot(theta)-y).dot(x_b[:,i])
    return res*2/len(x_b)
 def gradient_descent(X_b,y,initial_theta,eta,n_iters=1e4,epsilon=1e-8):  
    
    theta=initial_theta   
    i_iter=0.0
    
    while i_iter < n_iters:              #防止无限循环
        gradient = dJ(theta,X_b,y)      
        last_theta = theta    
        theta = theta-eta*gradient       
              
        if(abs(J(theta,X_b,y)-J(last_theta,X_b,y)) < epsilon):
            break
        i_iter += 1
    return theta
x=2* np.random.random(size=100)
y=x*3.+4. + np.random.normal(size=100)
X_b=np.hstack([np.ones((len(x),1)),x.reshape(-1,1)])
initial_theta=np.zeros(X_b.shape[1])
eta=0.01
theta=gradient_descent(X_b,y,initial_theta,eta)
print(theta)