PAC求解的其实是最佳投影方向,即一条直线,这与数学中线性回归问题的目标不谋而合,能否从回归的角度定义PAC的目标并相应的求解问题呢?
我们还是考虑二维空间的样本点。PAC最大方差理论,求得到一条直线使得样本点投影到该直线上的方差最大。从求解直线思路出发,很容易联想到数学的线性回归问题,其目标也是求解一个线性函数使得对应直线能够更好的拟合样本点集合。如果我们从这个角度定义PAC的目标,那么问题就会转换维一个回归问题。
在高维空间里,我们实际上要找到一个d维超平面。使得数据点到这个超平面的距离平方和最小。以d=1为例,超平面退化为直线,即吧样本投影到最佳直线,最小户的就是所有点到直线的距离平方和。
推导过程暂时省略。。。。。以后补充