基本概念
前段我们讨论了线性回归模型的原理策略,假定可以表示为
f(xi)=∑k=1nwkxik+w0=wxi
其损失函数为:
J(w)=12m∑i=1m(yi−f(xi))2=12m||y−Xw||2
最小二乘法求解可以得到最优解:
w=(XTX)−1XTy
在讨论ridge regression 和 lasso 之前,先学习两个概念。
监督学习有两大基本策略,经验风险最小化和结构风险最小化。
经验风险最小化策略为求解最优化问题,线性回归中的求解损失函数最小化问题即是经验风险最小化策略。
经验风险最小化的定义为:
Remp(f)=1N