Andrew Ng - SVM【1】最优间隔分类器
Ng说,SVM是最好的监督学习算法(因为你用不用,它就那里,现成的)。为了了解SVM,我们首先应该絮叨絮叨怎样用一个较大的间隔将数据划开成类;接着好戏上演,我会讲到最优间隔分类器;然后我会讲一些核函数(Kernel)的知识,这个尤其重要,因为核函数是打通低维和高维通道的关键手段;最后,我将会讲解用SMO算法怎么实现SVM,顺利收关。
从间隔(margins)讲起
1. 对间隔的一个直观的认识
在logistic回归中,对于预测以 θ 为参在 x (特征向量,
2. 对于预测的“信心”做一个分析
看下图,X代表正的训练样例,O代表负的训练样例,我们用一条线(由 θTx=0 确定的分割超平面)将正负样本分开,对A、B、C三点我们来做个分析。
对于A点,我们会很确定y=1;而相反,对于C点来说,或许根据当前的SH我能说y=1,可是机器学习这种事情,不确定性的东西本来就多,如果SH稍微动一动,可能C的分类就不好说了。因此,当点距离我的分割超平面足够远的时候,我们对数据的预测会很简单。那么,能不能在不同类别之间,真的存在那么一个边界,使我们很自信准确(意思就是离边界足够远)的预测出数据所属类别?几何间隔(geometric margin)粗现。
3. 一些符号的说明
为了更好的讲解SVM,我们将使用 y∈{ −1,1}(二分类,如何表示多分类?) 来表示分类标签;分类器将以 w,b<