林轩田机器学习技法课程笔记四 软分类支持向量机

Lecture 4: Soft-Margin Support Vector Machine

---

separable (=> shatter)=>have power to overfit to noise

Lagrange dual:乘上因子时移项到小于等于0的那一边

有free support vector可以像hard margin一样求出b，沒有free support vector的情形比较复杂，这时候只能求出b的范围，但是这是极少数的情况。

V-fold cross validation：将训练集分割成V个子样本，一个单独的样本被保留用作验证模型的数据，剩下V-1个用作训练模型，交叉验证重复V次。

Leave-One-Out CV是N-fold cross validation

Eloocv=Ecv with N folds

non-SV在Leave-One-Out上面的贡献一定是0，support vector可能是0，可能是1，最多就是1。

所以Support vector的数量可以用来排除一些危险（做safety check）