误差条图各部分的代表意思_泛化误差上界(证明详推)

本文介绍了泛化误差上界的概念,解析了不等式(1.25),其中左侧表示泛化误差,右侧由训练误差和额外项组成。讨论了Hoeffding不等式在理解和计算泛化误差中的作用,逐步解释了概率和期望风险的关系,特别关注了当假设空间包含有限个函数时的情况。最后提到了对于一般假设空间的泛化误差上界计算的复杂性。
摘要由CSDN通过智能技术生成

前置知识:

exp() : 以e为底的指数函数,括号内是具体内容

loge : 1.loge =lne =1

2.loge=lge=log(e) = 0.43429448190324 (摘自百度 : )笔者在一个公式上因为这个卡了15分钟)

好了,先给出书上定义:

30431a63-7113-eb11-8da9-e4434bdf6706.png

不等式(1.25)左端R(f)是泛化误差,右端即为泛化误差上界。在泛化误差上界中,第一项时候训练误差,训练误差越小,泛化误差也越小。第二项

是N的单调递减函数,当N趋于无穷时趋于0。同时它也是
阶的函数,假设空间F包含的函数越多,其值越大。

(1.25)这个式子你可以这样简单理解,等式左端为测试集上的风险,等式右端为在训练集上的风险加上一项

。 这个式子的意义就是通过在训练集上的表现来预测在测试集上的表现。

接下来,我们要了解一下Hoe

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值