用最小二乘法求解多元线性回归的参数

最小二乘法

如何求解多元线性回归残差平方和RSS最小化的参数向量?这种通过最小化真实值和预测值之间的RSS来求解参数的方法叫做最小二乘法。
求解极值的第一步往往是求解一阶导数并让一阶导数等于0，最小二乘法也不能免俗。因此，首先在残差平方和RSS上对参数向量求导。这里的过程涉及少数矩阵求导的内容，需要查表来确定，感兴趣可以去维基百科去查看矩阵求导的详细公式的表格：
https://en.wikipedia.org/wiki/Matrix_calculus
接下来，对$\mathbf{\omega }$求导：
$\frac{\partial \mathbf{R}\mathbf{S}\mathbf{S}}{\partial \mathbf{\omega }}=\frac{\partial ||\mathbf{y}-\mathbf{X}\mathbf{\omega }|{|}_2{}^2}{\partial \mathbf{\omega }}=\frac{\partial (\mathbf{y}-\mathbf{X}\mathbf{\omega }{)}^{\mathbf{T}}(\mathbf{y}-\mathbf{X}\mathbf{\omega })}{\partial \mathbf{\omega }}$
∵ ( A − B ) T = A T − B T 并 且 ( A B ) T = B T ∗ A T ∴ = ∂ ( y T − ω T X T ) ( y − X ω ) ∂ ω = ∂ (