本文是线性回归第4篇:利用矩阵计算多元线性回归的解析解。
--------------------------------------------------------------------------
下面推导使用矩阵形式推导系数矩阵w.
———————————————————————————————————————————
———————————————————————————————————————————
———————————————————————————————————————————
———————————————————————————————————————————
以上就求出了
W
W
W的解析解。这其中涉及到一个矩阵求导的例子,X是一个
n
∗
m
n*m
n∗m的矩阵,
X
T
X
X^TX
XTX是
m
∗
m
m*m
m∗m阶矩阵,当不是满秩矩阵时没有逆矩阵,其本质是自变量 x 之间存在多重共线性,这种情况需要在矩阵后加上一个变量,这就是Lasso回归或Ridge回归。
本文参考机器学习算法系列(三)- 标准线性回归算法(Standard Linear Regression Algorithm)
附: 矩阵求导