支持向量机 算法原理 从几何角度,对于线性可分数据集,支持向量机就是找距离正负样本都最远的超平面,相比于感知机,其解是唯一的,且不偏不倚,泛化性能更好。 超平面定义: 任意点x到超平面的距离公式证明: 几何间隔 支持向量机 注:此时把最大化问题,转为了最小化问题 拉格朗日对偶 凸优化问题: 拉格朗日对偶对任意优化问题都可以用 回到支持向量机主问题上: 软间隔 支持向量机是在线性可分的情况下,而在现实任务中,线性不可分的情形才是最常见的,因此需要允许支持向量机犯错。 (6.29)式子可以看做支持向量机的一般化形式 支持向量回归