统计学习笔记
文章平均质量分 82
半只兔子M
csdn新手
展开
-
统计学习理论的本质 笔记 6-8 函数估计与VRM
6 函数估计的方法6.1 ϵ\epsilonϵ 不敏感损失函数1964年 Huber 提出,如果我们只知道描述噪声的密度是一个对称函数,那么在最坏的噪声模型下最好的逼近(最小最大策略)为采用损失函数 L(y,f(x,α))=∣y−f(x,α)∣L(y, f(x, \alpha)) = |y -f(x, \alpha)|L(y,f(x,α))=∣y−f(x,α)∣, 在这个损失函数下最小化经验风险的方法称为最小模方法,属于鲁棒回归(robust regression)方法。Huber还考虑了正态噪声与某原创 2020-08-21 14:24:10 · 225 阅读 · 0 评论 -
统计学习理论的本质 笔记 5 模式识别的方法 part2(5.6-5.10)
5 模式识别的方法5.6 支持向量机支持向量机 (Support Vector Machine, SVM, SV机)实现了如下方案:通过事先选择的某种映射将输入xxx映射到高维空间ZZZ中向量zzz,并在 ZZZ 中构造最优分类超平面。5.6.1 高维空间的推广定理 5.2设 lll 个样本的训练集被最大间隔超平面完全分开, PerrorP_{error}Perror 为测试错误概率,mmm 为支持向量的个数,RRR 为包含所有训练集向量的最小超球半径, Δ\DeltaΔ 为间隔值, nnn 为原创 2020-08-20 16:18:08 · 174 阅读 · 0 评论 -
统计学习理论的本质 笔记 5 模式识别的方法 part 1(5.1-5.5)
5 模式识别的方法5.1 为什么学习机器能够推广假设我们采用ERM原则,对给定数目的训练样本上设计了一个十分复杂的学习机器(VC维很大),在训练样本上经验风险可以很小,但置信区间变大,这种现象称为过学习或过适应。故我们希望在两者之间折衷考虑,这产生了两种方法:保持置信范围一定(选择适当构造的机器),最小化经验风险,具体实现如神经网络保持经验风险固定(如等于0,在完全可分时),最小化置信范围,具体实现如支持向量机5.2 指示函数的 sigmoid 逼近考虑指示函数集合f(x,ω)=sgn{ω原创 2020-08-18 21:49:50 · 160 阅读 · 0 评论 -
统计学习理论的本质 笔记 4 控制学习过程的推广能力
4 控制学习过程的推广能力一般认为一个数据集为小样本,当训练数与VC维的比值较小如 1<l/h<201 < l/h < 201<l/h<20 时。l>hl>hl>h 的原因见3.7节。4.1 结构风险最小化归纳原则3.4节(或3.7节)中的情况一般可以归纳为R(α)≤f(Remp(α),Φ(h))R(\alpha) \le f(R_{emp}(\alpha), \Phi(h))R(α)≤f(Remp(α),Φ(h))Remp(α)R_{emp原创 2020-08-18 09:18:32 · 269 阅读 · 0 评论 -
统计学习理论的本质 笔记 3 学习过程收敛速度的界
3 学习过程收敛速度的界3.1 基本不等式考虑模式识别问题,即 Q(z,α),α∈ΛQ(z, \alpha), \alpha \in \LambdaQ(z,α),α∈Λ 为指示函数集,设R(α)=∫Q(z,α)dF(z) Remp(α)=1l∑i=1lQ(z,α)R(\alpha) = \int Q(z, \alpha)dF(z) \ \ \ R_{emp}(\alpha) = \dfrac{1}{l} \sum_{i=1}^l Q(z, \alpha)R(α)=∫Q原创 2020-08-17 21:58:02 · 294 阅读 · 0 评论 -
统计学习理论的本质 笔记 2 学习过程的一致性
2 学习过程的一致性2.1 传统一致性定义和非平凡一致性概念定义 对于风险泛函 R(α)R(\alpha)R(α) 和 经验风险 Remp(α)R_{emp}(\alpha)Remp(α) 若R(αl)→l→∞pinfα∈ΛR(α) and Remp(αl)→l→∞pinfα∈ΛR(α)R(\alpha_l) \xrightarrow[l \rightarrow \infty]{p} \inf\limits_{\alpha \in \Lambda} R(\alpha) \s原创 2020-08-17 08:49:28 · 648 阅读 · 0 评论 -
统计学习理论的本质 笔记 1 学习问题的表示
统计学习理论的本质 笔记 1 学习问题的表示1.1 函数估计模型产生器G从未知概率分布中随机抽取向量 xxx训练器S对每个向量根据位置的条件分布返回输出值 yyy学习机器LM实现一定的函数集 f(x,α)f(x,\alpha)f(x,α) 从中选出最逼近训练集相应的函数1.2 风险最小化问题联合分布函数 F(x,y)F(x,y)F(x,y), 损失函数 L(y,f(x,α))L(y, f(x,\alpha))L(y,f(x,α))损失期望值(即风险泛函)R(α)=∫L(y,f(x,α))d原创 2020-08-15 17:10:11 · 374 阅读 · 0 评论