Python 实现线形回归解析解公式 代码

numpy 实现线形回归解析解公式

解析解公式：$\theta =(x^{T}x{)}^{-1}{x}^{T}y$
目标函数：$y=w_0{x}_0+w_1{x}_1$

import numpy as np
import matplotlib.pyplot as plt

# 随机x纬度x1，rand是随机均匀分布
x = 2 * np.random.rand(100,1)
# 人为设置真实的Y一列 np.random.randn(100,1) 设置误差遵循标准正态分布
y = 4 + 3 * x + np.random.randn(100,1) # 4 为W0，3为W1
# np.c_ 整合 x0 和 x1 成为矩阵
x_b = np.c_[np.ones((100,1)),x] # ones((100,1))生成100行，1列的1矩阵

# 求解theta
theta_best = np.linalg.inv(x_b.T.dot(x_b)).dot(x_b.T).dot(y)
# linalg.inv() 求逆矩阵 \ .T 求转置矩阵 \ .dot()乘以矩阵

# 创建目标函数的数据集
x_new = np.array([[0],[2]]) # 创建2行，1列的矩阵为x1，使得目标函数在0~2之间
x_new_b = np.c_[(np.ones((2,1))),x_new] # 创建2行1列的x0，并与x1整合为矩阵
y_predict = x_new_b.dot(theta_best) # 预测的y

# 绘制图形
plt.plot(x_new,y_predict,'r-') # 'r-'红色线
plt.plot(x,y,'b.') # 'b.'蓝色点
plt.axis([0,2,0,15])# 设置坐标系长度
plt.show()

sklearn 调用 LinearRegression 实现线形回归解析解公式

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# 模拟数据
x = 2 * np.random.rand(100,1)
y = 4 + 3 * x + np.random.randn(100,1)

lin_reg = LinearRegression() #创建对象
lin_reg.fit(x,y) # fit训练(计算)数据集，输出模型
print(lin_reg.intercept_,lin_reg.coef_)#.intercept_截距(W0) .coef_参数(W1)

# 构建目标函数数据集
x_new = np.array([[0],[2]])
y_predict = lin_reg.predict(x_new) # .predict()求得到目标函数的y

# 绘制图形
plt.plot(x_new,y_predict,'r-')
plt.plot(x,y,'b.')
plt.axis([0,2,0,15])
plt.show()

生成的图：