hungyi-lee在youtube上的视频有regression的demo,使用jupyter写的,
视频链接 :ML可能国内不翻墙看不了,他大致是这样讲的。
regression初级版本
建立一个linear regression
y = w*x + b
x和y都看作是1*1的向量,w和b是参数
Loss function是MSE,
用Gradient Desent来train的model
那个η试试学习率(learning rate)。此次演示learning rate很重要
Source code
#!/usr/bin/env python
#!-*-coding:utf-8 -*-
"""
@version: python3.7
@author: ‘v-enshi‘
@license: Apache Licence
@contact: 123@qq.com
@site:
@software: PyCharm
@file: regression.py
@time: 2019/1/8 16:47
"""
import numpy as np
import matplotlib.pyplot as plt
x_data = [338.,333.,328.,207.,226.,25.,179.,60.,208.,606.]
y_data = [640.,633.,619.,393.,428.,27.,193.,66.,226.,1591.]
#ydata = b+w*xdata
x = np.arange(-200,-100,1) #bias
y = np.arange(-5,5,0.1) #weight
Z = np.zeros([len(x),len(y)])
X,Y = np.meshgrid(x,y)
for i in range(len(x)):
for j in range(len(y)):
b= x[i]
w = y[j]
Z[j][i] = 0
for n in range(len(x_data)):
Z[j][i] = Z[j][i] + (y_data[n]-b-w*x_data[n])**2
Z[j][i] = Z[j][i]/len(x_data)
#ydata = b +w*xdata
b = -120#initial b
w = -4
lr = 0.0000001 #learning rate
iteration = 100000
#store initial values for plotting
b_history = [b]
w_history = [w]
#Iterations
for i in range(iteration):
b_grad = 0.0
w_grad = 0.0
for n in range(len(x_data)):
b_grad = b_grad - 2.0*(y_data[n] - b - w*x_data[n]) *1.0
w_grad = w_grad - 2.0*(y_data[n] - b - w*x_data[n]) *x_data[n]
#Update parameters
b = b - lr*b_grad
w = w - lr*w_grad
#Store parameters for plotting
b_history.append(b)
w_history.append(w)
#plot the figure
plt.contourf(x,y,Z,50,alpha = 0.5, cmap = plt.get_cmap('jet'))
plt.plot([-188.4],[2.67],'x',ms=12,markeredgewidth =3, color = 'orange')
plt.plot(b_history,w_history,'o-',ms =3,lw=1.5,color = 'black')
plt.xlim(-200,-100)
plt.ylim(-5.5)
plt.xlabel(r'$b$',fontsize =16)
plt.ylabel(r'$w$',fontsize =16)
plt.show()
得到的结果
可以看到,训练过程几乎要收敛了,但是离最优解还有一段距离,而这时,在不改动目标函数,不对loss function进行regularization的情况下,可以改动的就是learning rating,我们把learning改为 1 ∗ 1 0 − 7 1*10^{-7} 1∗10−7改成 1 ∗ 1 0 − 6 1*10^{-6} 1∗10−6.
regression第二版本
我们把learning改为 1 ∗ 1 0 − 7 1*10^{-7} 1∗10−7改成 1 ∗ 1 0 − 6 1*10^{-6} 1∗10−6.
lr = 0.000000=1 #learning rate
结果
可以看到结果里最优解近了,但是训练过程中有震荡,继续增大learning rate到
1
∗
1
0
−
5
1*10^{-5}
1∗10−5
training 过程跑飞啦,固定learning rate的performance(性能)不是很好。
我们可以让学习率自适应。更多参考深度解读最流行的优化算法:梯度下降
regression第三版
我们给参数w和b自使用的步长
Gradient Desent的算法在大约68行的位置,我们成Ada-Grad,记得在for循环外面初始化lr_w,lr_b。
b_history = [b]
w_history = [w]
lr_b = 0
lr_w = 0
lr_b = lr_b + b_grad**2
lr_w = lr_w + w_grad**2
#Update parameters
b = b - lr/np.sqrt(lr_b)*b_grad
w = w - lr/np.sqrt(lr_w)*w_grad
得到结果
Ada_Grad的作用还是有的。
但是按道理来说,线性模型是convex(凸优化)按道理不会收敛到什么所谓的局部解。我们先来看看他的数据,他的数据其实也没有什么问题
或许是迭代次数太小,改成100万次,结果,哈哈,make it。