Tikhonov regularization(L2正则化、岭回归)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/darknightt/article/details/70179848

L2正则化也是岭回归的基础。
默认已经掌握最小二乘/线性回归理论。
维基百科原文
岭回归百度百科

对于y=Xw,若X无解或有多个解,称这个问题是病态的。病态问题下,用最小二乘法求解会导致过拟合或欠拟合,用正则化来解决。

设X为m乘n矩阵:

  • 过拟合模型:m<<n,欠定方程,存在多解的可能性大;
  • 欠拟合模型:m>>n,超定方程,可能无解,或者有解但准确率很低

这里写图片描述

展开阅读全文

没有更多推荐了,返回首页