机器学习-周志华-个人练习12.4

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qilixuening/article/details/72599715

12.4 试证明,Rd空间中线性超平面构成的假设空间的VC维是d+1。

本题参考了四去六进一的一些想法,用自己的想法更加详细地描述出来。

首先,我们假设在Rd空间中存在一组正交单位向量,使得此空间内任意一点的坐标可以表示为(x1,x2,,xd)T,不失一般性地,选取坐标原点(0,,0)xT0,以及各正交向量方向(0,,αi,,0)=xTi,αi0,i{1,,d}为示例集,则所有示例(共d+1个点)对应的标签可以表示为y0,y1,,yd。同时假设线性超平面的方程为wTx+b=0,则我们的目的是要确定是否存在w使得wTxi=yi,i=(0,,d)成立。令:

X=1001α1010αd,w=bw1wd,
y=[y0y1yd],
则需要证明存在w使得wTX=y。不妨设min{α1,,αd}>0,则X正定,可解得wT=X1y

无论y取到2d种情况中的哪一种,w均存在,则这样的d+1个示例能被线性超平面wTx+b=0打散,因此这样的线性超平面构成的假设空间的VC维至少为d+1。


接下来我们考虑在上述d+1个点的基础上增加点xd+1=(β1,,βd),显然,X变为增广矩阵X¯¯¯y 变为y¯

X¯¯¯=1001α1010αd1β1βd,
y¯=[y0y1ydyd+1],
由上式可以解得
y0=b,yiy0=wiαi,(i=1,,d)
yd+1=b+i=1dwiβi,
yd+1=y0+i=1dβiαi(yiy0),
显然,当前面d+1个点确定,xd+1可由前面d+1个点线性表示,那么对应的线性超平面在xd+1处不能对分{x1,x2,,xd,1},{x1,x2,,xd,1}中的一个。

由于这样d+2个示例的选取具有普遍性和一般性,也就是说不存在任何大小为d+2的示例集能被线性超平面wTx+b=0打散,因此这样的线性超平面构成的假设空间的VC维为d+1。

展开阅读全文

没有更多推荐了,返回首页