线性回归--手动

解析解求解主要需要推导出 W 的计算公式：
以
$$y=w\ast x+b=W\ast X$$
为例，选取均方误差为损失函数：
$$loss=\frac{1}{2n}\ast (y-y_{pred}{)}^2$$
直接贴出推导结果（我推的太不好了）：
$$W=(X@X^T{)}^{-1}@X@Y$$

代码：

import numpy as np
import matplotlib.pyplot as plt
def make_fake_data():
    # y = 3*x + 1
    x = np.random.rand(20) * 10
    y = 3 * x + (1 + np.random.randn(20)*3)
    return x, y

np.random.seed(10)
x, y = make_fake_data()
x_b = np.ones(20)
x = np.vstack((x, x_b))
w = np.linalg.pinv(x @ np.transpose(x)) @ x @ y
print(w)
y_pred = w @ x
plt.scatter(x[0, :], y)
plt.plot(x[0, :], y_pred)
plt.show()

结果：
[3.1382164 0.78223531]

梯度下降求解以
$$y=w\ast x+b=W\ast X$$
为例，选取均方误差为损失函数：
$$loss=\frac{1}{2n}\ast (y-y_{pred}{)}^2$$
梯度计算：
$$\nabla =\frac{1}{n}\ast (y-W\ast X)\ast X^T$$
利用梯度更新参数，注意梯度方向，系数更新公式：
$$W=W+a\ast \nabla$$
a为学习率，不要太大，不然结果会乱跳（不收敛）

代码：

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

def make_fake_data():
    # y = 3*x + 1
    x = np.random.rand(20) * 10
    y = 3 * x + (1 + np.random.randn(20)*3)
    return x, y
def monitor_mse(y, y_pred):
    Loss = ((y - y_pred) @ np.transpose(y - y_pred)) / len(y)
    return Loss
np.random.seed(10)


x, y = make_fake_data()
x_b = np.ones(20)
x = np.vstack((x, x_b))

k = 2001
a = 0.01  # 学习率小点好，大了会乱跑
A = np.random.rand(2)

for i in range(1, k):
    y_pred = np.transpose(A) @ x
    A = A + a * ((y - y_pred) / len(y)) @ np.transpose(x)


    if i % 500 == 0:
        print(f"第 {i} 次 A:", A)
        print(f"第 {i} 次 A:", monitor_mse(y, y_pred))



plt.scatter(x[0, :], y)
plt.plot(x[0, :], y_pred)

plt.show()

结果：
第 500 次 A: [3.11735897 0.92539329]
第 500 次 A: 11.390507360402756
第 1000 次 A: [3.13215241 0.82385636]
第 1000 次 A: 11.385755910470582
第 1500 次 A: [3.13645339 0.79433601]
第 1500 次 A: 11.385354285166539
第 2000 次 A: [3.13770383 0.7857534 ]
第 2000 次 A: 11.385320337027098