svm、经验风险最小化、vc维

“支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上”

结构化风险

结构化风险 = 经验风险 + 置信风险

经验风险 =  分类器在给定样本上的误差

置信风险 = 分类器在未知文本上分类的结果的误差

置信风险因素:


样本数量,给定的样本数量越大,学习结果越有可能正确,此时置信风险越小; 
分类函数的VC维,显然VC维越大,推广能力越差,置信风险会变大。 

提高样本数量,降低VC维,降低置信风险。

以前机器学习的目标是降低经验风险,要降低经验风险,就要提高分类函数的复杂度,导致VC维很高,VC维高,置信风险就高,所以,结构风险也高。---- 这是SVM比其他机器学习具有优势的地方。 

svm能达到降低vc维,最主要那个是核函数的引入。


前面这部分知识都是在学习svm的时候摘抄别人的博客,当时对vc维就不是很理解,看了很多遍都是云里雾里的。但在后来的学习中发现这个概率常常出现,到时很多算法都不能有一部分无法正确理解,今天鼓起勇气再次学习一下vc维概念,整理如下:

例子:     一个线性二分类函数能打散一个只包含三个元素的的集合        所以称线性二分类函数的vc维为3

抽象:     一个函数集能后打撒一个包含h个元素的集合      称该函数集的vc维为h

说到这儿大家可能对打散这个定理不是很理解,那还是以二分类函数为例

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值