Andrew Ng 机器学习笔记(七)

最优间隔分类器问题


今天还是接着上一期讲支持向量机的问题,但是首先会先讲最优间隔分类器问题。


对偶问题

对偶问题是这样的,并且,通常情况下d^*<=p^*,p^*是原始最优化问题的值,换句话说,通常情况下,对某个函数取max min的值,总是小于等于其取min max的值。但事实证明,在某种特殊情况下,这两个最优化问题会取相同的值,原始问题会和对偶问题取相同的值,这时你可以用对偶问题代替原始问题进行求解,这样做的原因是在稍后的最优间隔分类器问题和支持向量机问题中,对偶问题通常会变得更加简单,而且和原始问题相比,具有更多有用的性质。


然后Ng会推导出原始问题和对偶问题等价的条件,我们之所以导出支持向量机算法的策略是,我们会写出原始的最优化问题(之前已经做过了),之后会导出原始问题的对偶问题,之后我们会求解对偶问题,然后进行一些修改。这就是我们推导出支持向量机的方法。


KKT互补条件


支持向量机

首先看一个训练集,这个样本中两个o和一个x的函数间隔都等于1,只有少量的样本到超平面的距离是最小距离,上图中只有三个样本的函数间隔等于1,这些样本我们称之为支持向量(support vectors),支持向量机中的支持向量就是这个意思。这三个函数间隔为1的训练样本,我们称之为支持向量。支持向量的数量很少,这意味着多数的αi=0,如果αi=0那么即意味着其对应的样本不是支持向量。


最优间隔分类器 = 支持向量机


实际上,在SVM的特征向量空间中,有时候你的训练赝本的维数会非常高,甚至有可能你用到的特征向量是无线维的向量,事实证明,这是一种有趣的方法,来高效的计算内积,这个结论仅对于一些特定的特征空间成立。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值