关闭

SVM学习笔记-软间隔SVM

回顾 在上一篇中记录了Kernel SVM,利用核函数使得我们可以通过对偶形式的SVM解决非线性的问题,例如使用高斯核函数可以在无限维度的空间中寻找超平面。但是正如我们之前说到过的,高斯SVM在参数选择的不恰当的时候,也会出现overfit的情况。为什么SVM也会出现overfit的情况呢?一个原因可能是因为我们选择的特征转化太过于powerful,就算存在最大间隔的限制,最终也还是会出现过拟合...
阅读(125) 评论(0)

SVM学习笔记-核函数与非线性SVM

核技术 回顾 上次讲到了SVM的对偶形式,这个对偶问题也是二次规划问题。所以可以使用二次规划的方法来解决。之所以要使用SVM的对偶形式,是因为它告诉了我们SVMSVM背后的一些几何意义,例如,对偶的SVM问题的解中αn≥0\alpha_n \ge 0所对应的那些点(zn,yn)(z_n, y_n)就是我们想要找的支撑向量。另一方面,这个对偶问题在求解的时候好像几乎和我们所在的空间的维度没有...
阅读(123) 评论(0)

SVM学习笔记-对偶形式的SVM

Roadmap 上一篇笔记讲述了一个模型:线性支撑向量机。其目的是要找一个比较“胖”的分割线或者叫分割超平面,因为这些比较“胖”的hyperplane对于测量误差是比较robust的。并且使用二次规划方法来解决这样的问题。 这篇将要讲述的是将这个模型转化为另一种形式,以使得该模型可以更容易的延伸到其他不同的各种各样的应用当中去。 Non-Linear Support Vector Mac...
阅读(179) 评论(0)

SVM学习笔记-线性支撑向量机

Linear Support Vector Machine Linear Classification Revisited 当数据是线性可分的时候,PLA算法可以帮助我们找到那个hyperplane。 Which Line Is Better? 对于PLA算法来说,最终得到哪一条线是不一定的,取决于算法scan数据的过程。 从VC bound的角度来说,上述三条线的复杂度是一样的...
阅读(1363) 评论(0)
    个人资料
    • 访问:57068次
    • 积分:1247
    • 等级:
    • 排名:千里之外
    • 原创:71篇
    • 转载:0篇
    • 译文:0篇
    • 评论:37条
    最新评论