基本思想:试图寻找一个超平面来对样本分割,把样本中的正例和反例用超平面分开,并尽可能的使正例和反例之间的间隔最大。
算法推导过程:
(1)代价函数:假设正类样本y =wTx+ b>=+1,负类样本y =wTx+ b<=-1,两条边界之间的距离为2/||w||,最大化这个距离,应该最小化||w||,约束条件的目的是为了保证正类样本位于H1右边,负类样本位于H2左边,所以原始的代价函数就为:
函数间隔(functional margin):
几何间隔(geometric margin):
(2)对偶问题:引入拉格朗日乘子,可以得到以下拉格朗日函数: