在线性可分的情况下,优化问题是有解的;在线性不可分的情况下,优化问题是没有解的。即不存在满足N个限制条件(限制条件是在线性可分的情况下满足的);而对于线性不可分的情况,我们需要适当的放松限制条件,使得最优化问题变得有解。
放松限制条件的基本思路:
(1)对于每一个训练样本及标签,我们需要设置一个松弛变量(slack variable)
,这样可以把上边不等式的限制条件放松为
;因为在线性不可分的情况下,我们没有可能让所有的
在线性可分的情况下,优化问题是有解的;在线性不可分的情况下,优化问题是没有解的。即不存在满足N个限制条件(限制条件是在线性可分的情况下满足的);而对于线性不可分的情况,我们需要适当的放松限制条件,使得最优化问题变得有解。
放松限制条件的基本思路:
(1)对于每一个训练样本及标签,我们需要设置一个松弛变量(slack variable)
,这样可以把上边不等式的限制条件放松为
;因为在线性不可分的情况下,我们没有可能让所有的