1.定义
1.1函数间隔:
1.2 几何间隔:
2.相同的超平面,会产生不同的函数间隔
在优化问题中,由于函数间隔会导致优化函数趋于无穷大,故我们需要找到一个与超平面一一对应的间隔表示方式,即几何间隔,其通过将超平面的法向量的模固定为1,从而使得一个超平面与一个点之间,只有唯一的间隔函数。
3.最优化问题
3.1
在SVM中,最优化问题可以表示为如上所示,记作 形式(a)。
通过带入函数间隔与几何间隔的关系式,可以得到如下形式,记作 形式(b):
3.2 将函数间隔规定为1
可以从如下角度理解:
假设将w,b按比例改成λw,λb,此时函数间隔变为λγ*,可以看到,函数间隔γ*按一定倍数缩放时,所得到的最优超平面不会改变,即都能化成形式(a)。故可将函数间隔直接设为1。此观点来自于李航《统计学习方法》一书中。
对于固定的点集,当超平面固定时,如线性可分(即最优解存在),此问题的最优超平面的最小几何间隔一定为一固定值,即从形式(a)中求得的最优化解。但对应多个函数间隔,其不同之处为γ*的不同取值
(未完)