机器学习线性回归——正规方程求解点的拟合直线

最新推荐文章于 2024-04-26 19:13:06 发布

Time like water

最新推荐文章于 2024-04-26 19:13:06 发布

阅读量1.7k

点赞数 4

分类专栏：机器学习文章标签： python 机器学习正规方程

本文链接：https://blog.csdn.net/qq_43839907/article/details/105252463

版权

机器学习专栏收录该内容

3 篇文章 4 订阅

订阅专栏

正规方程
设一个线性回归问题中有m条训练数据S={( $x$ ⁽¹⁾,y⁽¹⁾),( $x$ ⁽²⁾,y⁽²⁾)，…( $x$ ^(m),y^(m))}
其中每一个x⁽ⁱ⁾均为n维向量，且首位为1.定义 $X$ 与 $y$ 为如下矩阵：
（1）
可见， $X$ 是一个mn矩阵， $y$ 是一个m1列向量， $X$ 称为特征矩阵， $y$ 称为标签向量，基于这个定义，线性回归算法的目标函数等价于

$min_{w\in R^n}F(w)=||Xw-y||^2$ （1）

在式（1）的目标函数中， $w$ 为 $n\times1$ 列向量， $X w$ 为矩阵乘积。由于 $X$ 是一个 $m\times n$ 的矩阵，所以 $X w$ 是一个 $m\times1$ 列向量。因而， $X w - y$ 也是一个 $m\times1$ 列向量。目标函数 $F (w)$ 为该列向量的L₂范数平方。

设 $X^TX$ 为可逆矩阵，则式(1)有唯一最优解 $w^*=(X^TX)$ ^-1 $X^Ty$
由于 $\nabla$ $F(w)=2X^TXw-2X^Ty$ ,所以 $w *$ 为最优解当且仅当 $w^*$ 满足如下方程： $2X^TXw-2X^Ty=0$
此方程也称为正规方程， $X^TX$ 可逆时，该方程有唯一解 $w^*=2X^TXw-2X^Ty=0$ 。

正规方程算法实现：

import numpy as np

def fit(X, y):  #训练模型
    w = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)  # w*=(XT⦁X)-1⦁X⦁y
    return w#利用上式计算最优解，并保存在w中

def predict(X,y):  # 预测X对应的Y值
    w = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)
    return X.dot(w)  # Y_pred = X ⦁ w*

def mean_squared_error(y_true, y_pred):  # 计算均方误差
    return np.average((y_true - y_pred) ** 2, axis=0)

def r2_score(y_true, y_pred):  # 计算决定系数
    numerator = (y_true - y_pred) ** 2
    denominator = (y_true - np.average(y_true, axis=0)) ** 2
    return 1 - numerator.sum(axis=0) / denominator.sum(axis=0)

def generate_samples(m):  #生成服从特征与标签的分布采样  
    X = 2*(np.random.rand(m,1)-0.5)
    y = X + np.random.normal(0,0.3,(m,1))
    return X,y

def process_features(X):#处理特征
    m,n = X.shape
    X = np.c_[np.ones((m,1)),X]
    return X

np.random.seed(0)#随机种子
X_train,y_train = generate_samples(100)#生成100条训练数据
X_train = process_features(X_train)
X_test,y_test = generate_samples(100)#生成100条测试数据
X_test = process_features(X_test)


fit(X_train,y_train)
y_pred = predict(X_test,y_test)
mse = mean_squared_error(y_test,y_pred)
r2 = r2_score(y_test,y_pred)
print("mse={} and r2={}".format(mse,r2))
plt.figure()
plt.title("Scatter Fitting")
plt.plot(X_test, y_test, "bs", ms=3)  # 画散点
plt.plot(X_test, y_pred, color='red')  # 打印直线
plt.show()

结果：

mse=[0.08881471] and r2=[0.78107994]

在这里插入图片描述
实例操作：
假设有平面上有3个点: (-1.0,-1.2)、(0.0,1.0) 和 (1.0,2.8)。请描述相应的正规方程,并通过求解正规方程来计算关于这3个点的最佳直线拟合。

import numpy as np
import matplotlib.pyplot as plt

def process_features(X):
    m, n = X.shape  # 求X矩阵的行数和列数
    X = np.c_[np.ones((m, 1)), X]  # 将m行1列的矩阵与X拼接
    return X

def fit(X, y):  # 求正规方程
    w = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)  # w*=(XT⦁X)-1⦁X⦁y
    return w

def predict(X,y):  # 预测X对应的Y值
    w = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)
    return X.dot(w)  # Y_pred = X ⦁ w*

def mean_squared_error(y_true, y_pred):  # 求均方误差
    return np.average((y_true - y_pred) ** 2, axis=0)

def r2_score(y_true, y_pred):  # 求决定系数
    numerator = (y_true - y_pred) ** 2
    denominator = (y_true - np.average(y_true, axis=0)) ** 2
    return 1 - numerator.sum(axis=0) / denominator.sum(axis=0)

dots = np.array([[-1.0, -1.2],
                 [0.0, 1.0],
                 [1.0, 2.8]])  # 点坐标
X = dots[:, [0]]  # 取出每个坐标X轴的值
Y = dots[:, [1]]  # 取出每个坐标Y轴的值
X_1 = process_features(X)  # 首位置1

theta = fit(X_1, Y)  # 求解正规方程
Y_pred = predict(X_1,Y)  # 求解X的预测值
mse = mean_squared_error(Y, Y_pred)  # 求均方误差
r2 = r2_score(Y, Y_pred)  # 求决定系数
print("theta:{}".format(theta))
print("mse = {}".format(mse))
print("r2 = {}".format(r2))
plt.figure()
plt.title("Scatter Fitting")
plt.plot(X, Y, "bs", ms=3)  # 画散点
plt.plot(X, Y_pred, color='red')  # 打印直线
plt.show()

结果：

theta:[[0.86666667]
 [2.        ]]
mse = [0.00888889]
r2 = [0.99667774]

在这里插入图片描述

Time like water

关注

4
点赞
踩
14

收藏

觉得还不错? 一键收藏
0
评论
机器学习线性回归——正规方程求解点的拟合直线

正规方程设一个线性回归问题中有m条训练数据S={(xxx(1),y(1)),(xxx(2),y(2))，…(xxx(m),y(m))}其中每一个x(i)均为n维向量，且首位为1.定义XXX与yyy为如下矩阵：可见，XXX是一个mn矩阵，yyy是一个m1列向量，XXX称为特征矩阵，yyy称为标签向量，基于这个定义，线性回归算法的目标函数等价于minw∈RnF(w)=∣∣Xw−y∣∣2min...
复制链接

扫一扫