1.线性SVM
首先,回顾一下SVM问题的定义,如下:
线性约束很烦,不方便优化,是否有一种方法可以将线性约束放到优化问题本身,这样就可以无拘无束的优化,而不用考虑线性约束了。其对应的拉格朗日对偶形式为:
最终的优化结果保证离超平面远的点的权重为0。
经过上面的对偶变化,下面来一步一步的简化我们的原始问题,
首先对b求偏导数,并且为0:
首先,回顾一下SVM问题的定义,如下:
线性约束很烦,不方便优化,是否有一种方法可以将线性约束放到优化问题本身,这样就可以无拘无束的优化,而不用考虑线性约束了。其对应的拉格朗日对偶形式为:
最终的优化结果保证离超平面远的点的权重为0。
经过上面的对偶变化,下面来一步一步的简化我们的原始问题,
首先对b求偏导数,并且为0: