最小二乘有监督回归（三）带L2约束条件的最小二乘

最小二乘有监督回归（三）带L2约束条件的最小二乘
带约束条件主要是解决因为噪声造成的过拟合的问题
条件一：

p满足p方=p，p转置还等于p，此式表示的是矩阵p的值域的正交矩阵。将参数设计矩阵
换成此矩阵乘以p即可。
参数空间限制为

例程

条件二 L2约束

将参数限制在超球内。
用拉格朗日对偶问题的方法进行求解
拉格朗日乘子由半径R来决定，求解过程较为复杂，简化一下，直接指定拉格朗日乘子，不用R来决定，

目标函数关于权重的偏微分为0时，权重求解为

例程为

此程序中，核函数k和参数设计矩阵是一个意思。
运行效果

可以看出，有L2约束的最小二乘没有明显的过拟合。