机器学习初步（三）：回归演示

这次跟着学习一个简单的回归模型的演示。

首先是开始前的一些准备

导入相关的包

import matplotlib.pyplot as plt
import numpy as np
from pylab import mpl

plt.rcParams['font.sans-serif']=['Simhei']#解决中文乱码问题
mpl.rcParams['axes.unicode_minus']=False #解决图像中‘-’显示为方块的问题

数据准备

x_data = [338., 333., 328., 207., 226., 25., 179., 60., 208., 606.]
y_data = [640., 633., 619., 393., 428., 27., 193., 66., 226., 1591.]
x_d=np.asarray(x_data)
y_d=np.asarray(y_data)

x = np.arange(-200,-100,1)  #坐标轴的格点坐标
y = np.arange(-5,5,0.1)  #坐标轴的格点坐标
Z=np.zeros((len(x),len(y)))  #用来存放（w，b）对对应的损失函数的值
X,Y=np.meshgrid(x,y)  

损失函数值的计算

#loss
for i in range(len(x)):
    for j in range(len(y)):
        b=x[i]
        w=y[j]
        Z[j][i]=0
        for n in range(len(x_data)):
            Z[j][i]+=(y_data[n]-w*x_data[n]-b)**2
        Z[j][i]/=len(x_data)

线性拟合开始

数据处理

# linear regression
b = -120
 = -4
#b=-2
#w=0.01
lr = 0.000005
iteration = 1000000

b_history = [b]
w_history = [w]
loss_history = []
import time
start = time.time()
for i in range(iteration):
    m = float(len(x_d))
    y_hat = w * x_d  +b
    loss = np.dot(y_d - y_hat, y_d - y_hat) / m
    grad_b = -2.0 * np.sum(y_d - y_hat) / m
    grad_w = -2.0 * np.dot(y_d - y_hat, x_d) / m
    # update param
    b -= lr * grad_b
    w -= lr * grad_w

    b_history.append(b)
    w_history.append(w)
    loss_history.append(loss)
    if i % 10000 == 0:
        print("Step %i, w: %0.4f, b: %.4f, Loss: %.4f" % (i, w, b, loss))
end = time.time()
print("大约需要时间：",end-start)

绘制图象

# plot the figure
plt.contourf(x, y, Z, 50, alpha=0.5, cmap=plt.get_cmap('jet'))  # 填充等高线
plt.plot([-188.4], [2.67], 'x', ms=12, mew=3, color="orange")  #绘制最优解
plt.plot(b_history, w_history, 'o-', ms=3, lw=1.5, color='black')  #绘制拟合过程中算过的（w，b)对
plt.xlim(-200, -100)
plt.ylim(-5, 5)
plt.xlabel(r'$b$')
plt.ylabel(r'$w$')
plt.title("线性回归")
plt.show()

从图像中看出来，在100000次拟合以后，接近了最优解。

特制化学习率

# linear regression
b = -120
w = -4
lr = 1
iteration = 100000

b_history = [b]
w_history = [w]

lr_b=0
lr_w=0
import time
start = time.time()
for i in range(iteration):
    b_grad=0.0
    w_grad=0.0
    for n in range(len(x_data)):
        b_grad=b_grad-2.0*(y_data[n]-b-w*x_data[n])*1.0
        w_grad= w_grad-2.0*(y_data[n]-b-w*x_data[n])*x_data[n]
    
    lr_b=lr_b+b_grad**2
    lr_w=lr_w+w_grad**2
    # update param
    b -= lr/np.sqrt(lr_b) * b_grad
    w -= lr /np.sqrt(lr_w) * w_grad

    b_history.append(b)
    w_history.append(w)

通过学习率的特制，可以在10w次内达到最优解。