线形回归解析解公式代码实现
numpy 实现线形回归解析解公式
解析解公式:
θ
=
(
x
T
x
)
−
1
x
T
y
\theta=(x^{T}x)^{-1}x^{T}y
θ=(xTx)−1xTy
目标函数:
y
=
w
0
x
0
+
w
1
x
1
y=w_{0}x_{0}+w_{1}x_{1}
y=w0x0+w1x1
import numpy as np
import matplotlib.pyplot as plt
# 随机x纬度x1,rand是随机均匀分布
x = 2 * np.random.rand(100,1)
# 人为设置真实的Y一列 np.random.randn(100,1) 设置误差遵循标准正态分布
y = 4 + 3 * x + np.random.randn(100,1) # 4 为W0,3为W1
# np.c_ 整合 x0 和 x1 成为矩阵
x_b = np.c_[np.ones((100,1)),x] # ones((100,1))生成100行,1列的1矩阵
# 求解theta
theta_best = np.linalg.inv(x_b.T.dot(x_b)).dot(x_b.T).dot(y)
# linalg.inv() 求逆矩阵 \ .T 求转置矩阵 \ .dot()乘以矩阵
# 创建目标函数的数据集
x_new = np.array([[0],[2]]) # 创建2行,1列的矩阵为x1,使得目标函数在0~2之间
x_new_b = np.c_[(np.ones((2,1))),x_new] # 创建2行1列的x0,并与x1整合为矩阵
y_predict = x_new_b.dot(theta_best) # 预测的y
# 绘制图形
plt.plot(x_new,y_predict,'r-') # 'r-'红色线
plt.plot(x,y,'b.') # 'b.'蓝色点
plt.axis([0,2,0,15])# 设置坐标系长度
plt.show()
sklearn 调用 LinearRegression 实现线形回归解析解公式
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
# 模拟数据
x = 2 * np.random.rand(100,1)
y = 4 + 3 * x + np.random.randn(100,1)
lin_reg = LinearRegression() #创建对象
lin_reg.fit(x,y) # fit训练(计算)数据集,输出模型
print(lin_reg.intercept_,lin_reg.coef_)#.intercept_截距(W0) .coef_参数(W1)
# 构建目标函数数据集
x_new = np.array([[0],[2]])
y_predict = lin_reg.predict(x_new) # .predict()求得到目标函数的y
# 绘制图形
plt.plot(x_new,y_predict,'r-')
plt.plot(x,y,'b.')
plt.axis([0,2,0,15])
plt.show()
生成的图: