这次跟着学习一个简单的回归模型的演示。
首先是开始前的一些准备
导入相关的包
import matplotlib.pyplot as plt
import numpy as np
from pylab import mpl
plt.rcParams['font.sans-serif']=['Simhei']#解决中文乱码问题
mpl.rcParams['axes.unicode_minus']=False #解决图像中‘-’显示为方块的问题
数据准备
x_data = [338., 333., 328., 207., 226., 25., 179., 60., 208., 606.]
y_data = [640., 633., 619., 393., 428., 27., 193., 66., 226., 1591.]
x_d=np.asarray(x_data)
y_d=np.asarray(y_data)
x = np.arange(-200,-100,1) #坐标轴的格点坐标
y = np.arange(-5,5,0.1) #坐标轴的格点坐标
Z=np.zeros((len(x),len(y))) #用来存放(w,b)对对应的损失函数的值
X,Y=np.meshgrid(x,y)
损失函数值的计算
#loss
for i in range(len(x)):
for j in range(len(y)):
b=x[i]
w=y[j]
Z[j][i]=0
for n in range(len(x_data)):
Z[j][i]+=(y_data[n]-w*x_data[n]-b)**2
Z[j][i]/=len(x_data)
线性拟合开始
数据处理
# linear regression
b = -120
= -4
#b=-2
#w=0.01
lr = 0.000005
iteration = 1000000
b_history = [b]
w_history = [w]
loss_history = []
import time
start = time.time()
for i in range(iteration):
m = float(len(x_d))
y_hat = w * x_d +b
loss = np.dot(y_d - y_hat, y_d - y_hat) / m
grad_b = -2.0 * np.sum(y_d - y_hat) / m
grad_w = -2.0 * np.dot(y_d - y_hat, x_d) / m
# update param
b -= lr * grad_b
w -= lr * grad_w
b_history.append(b)
w_history.append(w)
loss_history.append(loss)
if i % 10000 == 0:
print("Step %i, w: %0.4f, b: %.4f, Loss: %.4f" % (i, w, b, loss))
end = time.time()
print("大约需要时间:",end-start)
绘制图象
# plot the figure
plt.contourf(x, y, Z, 50, alpha=0.5, cmap=plt.get_cmap('jet')) # 填充等高线
plt.plot([-188.4], [2.67], 'x', ms=12, mew=3, color="orange") #绘制最优解
plt.plot(b_history, w_history, 'o-', ms=3, lw=1.5, color='black') #绘制拟合过程中算过的(w,b)对
plt.xlim(-200, -100)
plt.ylim(-5, 5)
plt.xlabel(r'$b$')
plt.ylabel(r'$w$')
plt.title("线性回归")
plt.show()
从图像中看出来,在100000次拟合以后,接近了最优解。
特制化学习率
# linear regression
b = -120
w = -4
lr = 1
iteration = 100000
b_history = [b]
w_history = [w]
lr_b=0
lr_w=0
import time
start = time.time()
for i in range(iteration):
b_grad=0.0
w_grad=0.0
for n in range(len(x_data)):
b_grad=b_grad-2.0*(y_data[n]-b-w*x_data[n])*1.0
w_grad= w_grad-2.0*(y_data[n]-b-w*x_data[n])*x_data[n]
lr_b=lr_b+b_grad**2
lr_w=lr_w+w_grad**2
# update param
b -= lr/np.sqrt(lr_b) * b_grad
w -= lr /np.sqrt(lr_w) * w_grad
b_history.append(b)
w_history.append(w)
通过学习率的特制,可以在10w次内达到最优解。