线性模型——显示解

动手学深度学习--李沐大神

 

正规方程是线性回归中一种常用的解析方法，用于求解最小二乘问题，即找到一个最优解使得预测值与实际观测值的误差平方和最小化。

对于一个线性回归问题，可以表示为如下形式的最小二乘问题：

Y = X * β + ε

其中，Y 是观测值的向量，X 是设计矩阵，β 是待估计的参数向量，ε 是误差向量。

通过最小化误差的平方和，可以得到正规方程的解析表达式：

β = (X^T * X)^(-1) * X^T * Y

其中，^T 表示矩阵的转置，^(-1) 表示矩阵的逆运算。

正规方程通过直接求解上述表达式，可以得到线性回归的最优参数估计。然而，正规方程的求解需要计算矩阵的乘法和逆运算，对于大规模问题可能存在计算复杂度较高的问题。在实际应用中，也可以使用其他数值优化算法，如梯度下降法，来求解线性回归的最优解。