支持向量机
函数间隔与几何间隔
|𝒘T𝒙+𝑏| 能够表示点 𝒙 距离超平面的远近,而 𝒘T𝒙+𝑏 的符号与类标记 𝑦 的符号是否一致可表示分类是否正确。
因此,可用 𝑦(𝒘T𝒙+𝑏) 来表示分类的正确性及确信度,这就是函数间隔(functional margin)的概念。
对于给定的训练数据集 𝑇 和超平面 (𝒘,𝑏),定义超平面 (𝒘,𝑏) 关于样本点 (𝒙𝑖,𝑦𝑖) 的函数间隔为
𝛾̂ 𝑖=𝑦𝑖(𝒘T𝒙𝑖+𝑏)
定义超平面 (𝒘,𝑏) 关于训练数据集 𝑇 的函数间隔为超平面 (𝒘,𝑏) 关于 𝑇 中所有样本点 (𝒙𝑖,𝑦𝑖) 的函数间隔的最小值,即
𝛾̂ =min𝑖=1,⋯,𝑁𝛾̂ 𝑖
几何间隔
对给定的w和b都要进行“归一化”,因为当w和b都变成2w和2b超平面可能没变,但是函数距离却变成了2倍,所以要进行一个改变。我们可以对分离超平面的法向量 𝒘 加某些约束,如规范化, ‖𝒘‖=1 ,使间隔是确定的。
𝛾𝑖=𝑦𝑖(𝒘/‖𝒘‖⋅𝑥𝑖+𝑏/‖𝒘‖)
然后求出样本点中几何距离最小的
𝛾=min𝑖=1,⋯,𝑁𝛾𝑖
函数间隔和几何间隔的区别
由函数间隔 𝛾̂ 和几何间隔 𝛾 的定义可推出如下关系
𝛾𝑖=𝛾̂ 𝑖/‖𝒘‖
𝛾=𝛾̂/ ‖𝒘‖
若 ‖𝒘‖=1 ,那么函数间隔和几何间隔相等。
此时,成比例的改变超平面参数 𝒘 和 𝑏 (超平面不变),函数间隔将按此比例改变,而几何间隔不变。