机器学习技法笔记1:线性SVM

上学期听林轩田老师的机器学习技法自己做了笔记,之后会陆续发出来,有错误的地方还希望大家多多指教。

1、线性SVM

1-1 最大边界间隔超平面

最大边界间隔超平面(Large-Margin Separating Hyperplane)
1、 回顾一下我们之前介绍了linear classification,对于线性可分的情况,.数学上就 是求出加权的分数,判断分数的正负,来预测结果。我们可以使用PLA/pocket 算法在平面或者超平面上把正负类分开
这里写图片描述
例如对平面2D这种情况,我们可以找到一条直线,能将正类和负类完全分 开。但是,这样的直线通常不止一条,如下图所示。那么,下图中的三条分类 线都能将数据分开,但是哪条线更好呢?
这里写图片描述
这里写图片描述
d表示维数。
但是,如果要选择的话,凭第一感觉,我们还是会选择第三条直线,感觉它的 分类效果更好一些。那这又是为什么呢?
2、 先给个简单解释,假设我们已经拿到原始的资料xn,未来在测试的时候我们会拿 到和原始资料相近的点x。这两者是相近的,但是会存在一些偏差,因为存在 测量误差,或者资料收集的时候存在一些误差
这里写图片描述
若要保证对未知的测量数据也能进行正确分类,最好让分类直线距离正类负类 的点都有一定的距离
这样能让每个样本点附近的圆形区域是“安全”的。圆形区域越大,表示分类 直线对测量数据误差的容忍性越高,越“安全”。
这里写图片描述
这里写图片描述
4、 整体来说,我们的目标就是找到这样的分类线并满足下列条件:
首先,要满足能够对样本点正确的分类
其次,让离分类线w最近的点到分类线距离最大
这里写图片描述
这里写图片描述

1-2 问题标准化描述

要让margin最大,即让离分类线最近的点到分类线距离最大,我们先来看一 下如何计算点到分类线的距离
这里写图片描述
这里写图片描述
这里写图片描述
3、 可是我们要求的是能够进行正确分类的分割平面,
这个分割平面有什么性质 呢?
(1)、求得的分数和yn同号
这里写图片描述
(2)进一步简化式子:
我们知道分类面wTx+b=0和3wTx+3b=0其实是一样的。也就是说,对w 和b进行同样的缩放还会得到同一分类面。
这里写图片描述
写到这了
这里写图片描述
宽松条件是:对于分类面(w,b),代入所有的xn,yn 满足yn(wTxn+b)≥1,
那么,是否会出现这种情况,满足yn(wTxn+b)>1的w,b被最终选为最优的 (w,b)呢?
这里写图片描述
这里写图片描述

1-3 支持向量机

1、上一节推出:
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

1-4 SVM可行的理论依据

1、
这里写图片描述
2、
从VC bound的角度来说(超平面到底能够产生多少圈圈叉叉分类的组合), 例如:对于PLA来说,可以shatter三个训练点的所有可能组合(8种,下图 仅画出4种);但是对于SVM来说,会对margin有所限制,那么就有可能 无法做出所有的排列组合了,因为对margin的宽度有要求
这里写图片描述
linear hard SVM不能shatter任意3个inputs,这说明有更少的 dichotomies(分类线),更小的VC维度,也就有更好的泛化效果(E_in与 E_out更接近)。
3、 下面我们从概念的角度推导一下为什么dichotomies越少,VC Dimension就 越少。首先我们考虑一下Large-Margin演算法的VC Dimension,记为 dvc(Aρ)。
之前学习的是假设的VC维,现在的是演算法的VC维,这两种说法都可以, 没有严格定义。但是,dvc(Aρ)与资料有关,因为资料的不同分布决定了可以 分类的种类数目。而我们之前介绍的dvc与资料无关。
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值