1.4 梯度下降法(GradientDescent Optimization)
代码如下:
import numpy as np
import matplotlib.pyplot as plt
if __name__ == '__main__':
plot_x = np.linspace(-1, 6, 141) # 在-1到6之间取141个点
plot_y = (plot_x - 2.5) **2 -1 # 二次方程的损失函数
plt.scatter(plot_x[5],plot_y[5],c='r')
plt.plot(plot_x,plot_y)
plt.xlabel('theta')
plt.ylabel('损失函数')
plt.show()
运行结果:
其中x轴是我们待学习的参数θ(theta),y轴是损失函数的值,曲线y表示的是损失函数
而我们的目标就是获得的θ使得损失函数最小,可以通过求导的方式,达到二次函数的最小值点,即:
其中J表示损失函数,θ为待求解的参数
梯度下降中有个比较重要的参数:学习率n(读作eta),它控制着模型寻找最优解的速度。加入学习率后其数学表达式为:
梯度下降的过程代码:
import numpy as np
import matplotlib.pyplot as plt
if __name__ == '__main__':
plot_x = np.linspace(-1, 6, 141) # 在-1到6之间取141个点
plot_y = (plot_x - 2.5) **2 -1 # 二次方程的损失函数
# plt.scatter(plot_x[5],plot_y[5],c='r')
# plt.plot(plot_x,plot_y)
# plt.xlabel('theta')
# plt.ylabel('损失函数',fontproperties = 'simHei',fontsize = 15)
# plt.show()
# 损失函数
def J(theta):
return (theta - 2.5) **2 -1
# 损失函数的导数
def DJ(theta):
return 2*(theta-2.5)
theta =0.0 #初始点
theta_history =[theta]
eta = 0.1 # 步长(学习率)
epsilon = 1e-8 # 精度问题或者eta的设置无法使得导数为0
while True:
gradient = DJ(theta)
last_theta = theta # 记录上一个theta的值
theta = theta - eta*gradient #更新theta的值 也就是梯度下降
theta_history.append(theta)
if(abs(J(theta) - J(last_theta))< epsilon): #当两个theta的值非常接近的时候,终止循环
break
plt.plot(plot_x,J(plot_x),c='r')
plt.plot(np.array(theta_history),J(np.array(theta_history)),c='b',marker ='X')
plt.show()
print(len(theta_history))
使用步数46
运行结果:
学习率n对梯度下降的影响:
第一个例子,我们将n设计为0.01(之前是0.1),运行结果如图所示:
蓝色的标记更加密集,从起点走到导数为0的步数更多了,变为424,整个学习的速度变慢了
第二个例子,我们将n设计为0.08(之前是0.1),运行结果如图所示:
此时蓝色标记的步长发生了跳跃,但是损失函数的值不断在减少,步数为22,学习速度变快了
第三个例子,我们将n设计为1.1(之前是0.1),运行结果会报错”Result too large“,因此修改代码:
def J(theta):
try:
return (theta - 2.5) ** 2 - 1
except:
return float('inf') # 正无穷
i_iter = 0
n_iter = 10
while i_iter < n_iter:
gradient = DJ(theta)
last_theta = theta # 记录上一个theta的值
theta = theta - eta * gradient # 更新theta的值 也就是梯度下降
i_iter += 1
theta_history.append(theta)
if abs(J(theta) - J(last_theta)) < epsilon: # 当两个theta的值非常接近的时候,终止循环
break
运行结果:
可以看出损失函数不断增大,所以模型不会找到最优解