机器学习——岭回归和LASSO回归

1.用矩阵表示多元线性回归

Y=BX+a

Q(B)=(Y-BX)T(Y-BX)达到最小时的B值。

也即是残差平方和最小时。B（Bi）的值。可以证明B的最小二乘估计=（XTX）-1XTy

其中（XTX）-1为广义逆。

如果X存在线性相关的话，XTX没有逆：

    1.出现多重共线性2.当n<p,变量比样本多时，出现奇异

岭回归（Ridge Regression）

先对数据做标准化

B(K)=(XTX+kI)XTY为B的岭回归估计，其中K为岭参数，I为单位矩阵，KI为扰动。

岭迹图帮助我们发现多重共线性，以及取那个K值。在图中࿰