SVM3—对偶问题(目标函数求解)_很多细节不明白未记录

$\bullet$ C-SVM的目标函数是带不等式约束的问题。
$$J(\mathbf{w};b;C)=\frac{1}{2}||\mathbf{w}|{|}_2^2+C\sum _{i=1}^N{\xi }_i$$ $$subjectto{y}_i(w_0+{\mathbf{w}}^T{\mathbf{x}}_i)>=1-{\xi }_i$$ $${\xi }_i>0$$
$\bullet$ 带不等式约束的优化问题可采用拉格朗日乘子变成非约束的优化问题，再进一步变成对偶问题，通过求解与原问题等价的对偶问题得到原始问题的最优解，有点：1、对偶问题往往更容易求解，2、可以自然的引入核函数，进而推广到非线性模型。

$\bullet$ 对本节内容很多细节还不是很明白，现只记录大体思路，之后再抽时间来细细的研究。

$\bullet$ 思路：1、通过拉格朗日乘子法变为非约束问题，2、变为对偶问题，3、证明在某种情况下对偶问题具有与原问题相同的解，这里会包括KTT条件，4、对$\mathbf{w},b,\xi$求一阶导数，5、将4步的结论代入拉格朗日函数进行求解。

$\bullet$ 重要的结论：虽然最后的表达式里需要求每个训练集样本和输入特征之间的点击，但大多数点不起作用，可以抛掉。


在数据集中，只有支持向量才会影响到模型，那些已有或新增加的非支持向量不会影响到模型。SVM对噪声比较敏感，因为增加一个支持向量，决策面就会变。