关闭

机器学习(7)--VC维数

90年代初,Vapnik and A. Chervonenkis提出了支持向量机(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。 结合上次所说的,我们可以得到如下式子: Ein(g)与Eout(g)之差足够小,即大于一个阈值e(该希腊字母不好显示,暂用e代替)的几率小于右边的式子,这就是我们想要的hypothesis。...
阅读(146) 评论(0)

机器学习(6)--化无限为有限(二)

在“机器学习(5)-化无限为有限”这篇文章中,我们得到了下面的规律: 可以用一个有限的和假设集相关的量mH来替换不可求得M,所以式子 的左边也是一个有限的数,且很大几率是小于1的值,所以Eout(g)是可以很接近Ein(g)的。上限函数(Bounding Function) 上限函数在k时出现break point时最多有多少种(o与x的组合)。 根据枚举可得: 其规律为:...
阅读(133) 评论(0)

机器学习(5)--化无限为有限

在上一篇文章中根据坏的样本和坏的数据的表格中得到如下推论: 对于所有的M(假设的个数),N(数据集规模)和阈值,Hoeffding Inequality都是有效的, 我们不必要知道Eout,可以通过Ein来代替Eout(这句话的意思是Ein(g)=Eout(g) is PAC)。 由上篇文章所讲的Hoeffding Inequality可得到下面式子: 我们的希望 我们希望Eout(g)越接...
阅读(144) 评论(0)
    个人资料
    • 访问:25148次
    • 积分:721
    • 等级:
    • 排名:千里之外
    • 原创:45篇
    • 转载:0篇
    • 译文:0篇
    • 评论:3条
    最新评论