线性回归_代码示例

线性回归-代码示例

导入所需要的包。

import numpy as np #数据转换的包
import matplotlib.pyplot as plt #绘图用的包
from pylab import mpl #处理中文的包

实现中文显示。

# matplotlib没有中文字体，动态解决
plt.rcParams['font.sans-serif'] = ['Simhei']  # 显示中文
mpl.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题

定义x_data和y_data两个数据集，并将数据集转换为array数组类型。

x_data = [338., 333., 328., 207., 226., 25., 179., 60., 208., 606.]
y_data = [640., 633., 619., 393., 428., 27., 193., 66., 226., 1591.]
x_d = np.asarray(x_data)
y_d = np.asarray(y_data)

定义绘制损失函数图所用的x,y坐标，并由坐标生成网格矩阵。

x = np.arange(-200, -100, 1)
y = np.arange(-5, 5, 0.1)
Z = np.zeros((len(x), len(y)))
# 生成网格矩阵
X, Y = np.meshgrid(x, y)

计算生成网格矩阵对应的等高线图的坐标。

for i in range(len(x)):
    for j in range(len(y)):
        b = x[i]
        w = y[j]
        Z[j][i] = 0  # meshgrid吐出结果：y为行，x为列
        for n in range(len(x_data)):
            Z[j][i] += (y_data[n] - b - w * x_data[n]) ** 2
        Z[j][i] /= len(x_data)

迭代更替b,w,loss的值，实现线性回归。

# 先给b和w一个初始值，计算出b和w的偏微分
# linear regression
b = -120
w = -4
# b = -2
# w = 0.01
lr = 0.000005
iteration = 1400000

b_history = [b]
w_history = [w]
loss_history = []
import time

start = time.time()
for i in range(iteration):
    m = float(len(x_d))
    y_hat = w * x_d + b
    # 点积 dot
    loss = np.dot(y_d - y_hat, y_d - y_hat) / m
    grad_b = -2.0 * np.sum(y_d - y_hat) / m
    grad_w = -2.0 * np.dot(y_d - y_hat, x_d) / m
    # update param
    b -= lr * grad_b
    w -= lr * grad_w

    b_history.append(b)
    w_history.append(w)
    loss_history.append(loss)
    if i % 10000 == 0:
        print("Step %i, w: %0.4f, b: %.4f, Loss: %.4f" % (i, w, b, loss))
end = time.time()
print("大约需要时间：", end - start)

本实验迭代了140000轮，结果取最后几行展示。

Step 1280000, w: 2.6639, b: -186.5002, Loss: 10194.7143
Step 1290000, w: 2.6641, b: -186.5533, Loss: 10194.6579
Step 1300000, w: 2.6642, b: -186.6049, Loss: 10194.6045
Step 1310000, w: 2.6643, b: -186.6552, Loss: 10194.5540
Step 1320000, w: 2.6645, b: -186.7041, Loss: 10194.5062
Step 1330000, w: 2.6646, b: -186.7516, Loss: 10194.4610
Step 1340000, w: 2.6648, b: -186.7978, Loss: 10194.4183
Step 1350000, w: 2.6649, b: -186.8427, Loss: 10194.3779
Step 1360000, w: 2.6650, b: -186.8864, Loss: 10194.3397
Step 1370000, w: 2.6651, b: -186.9290, Loss: 10194.3036
Step 1380000, w: 2.6653, b: -186.9703, Loss: 10194.2694
Step 1390000, w: 2.6654, b: -187.0105, Loss: 10194.2371
大约需要时间： 13.558717727661133

将迭代的过程图形化显示出来，如下图所示。

由图可知，从右下角向左上角回归。橙色的叉处代表最终回归的地方。