- 博客(15)
- 收藏
- 关注
RSS订阅原创 支持向量机 7 VRM原则
7 邻域风险最小化原则（VRM）硬邻域函数定义邻域(E表示一种度量，如E=1,2,..,∞E=1,2,..,\inftyE=1,2,..,∞)vE(a)={x:∣∣x−a∣∣E≤ra}v_E(a) = \{x: ||x-a||_E \le r_a\}vE(a)={x:∣∣x−a∣∣E≤ra}如以下典型例子v1(a)={x:∑k=1n∣xk−ak∣≤ra}v2(a)={x:∑k=1n∣xk−ak∣2≤ra2}v∞(a)={x:maxk=1,..,n∣xk−ak∣≤ra}v_1(a) = \{
2020-08-22 19:16:40
503
原创 支持向量机 6 密度估计的方法
6 密度估计的方法# 本节内容中约束条件需要由某些一致性定理保证，这里没有给出。SVM用于密度估计问题密度估计问题可以表述为：求解概率密度p(t,a):∫−∞xp(t,α)dt=F(x)p(t,a): \int_{-\infty}^x p(t, \alpha) dt = F(x)p(t,a):∫−∞xp(t,α)dt=F(x)已知 (xi)(x_i)(xi) 为 满足 F(x)F(x)F(x) 分布的随机独立样本集，并据此可给出经验分布函数Fl(x)=1l∑i=1lθ(x−xi)F_l
2020-08-22 19:15:05
356
原创 支持向量机 5 函数估计的方法
5 函数估计的方法5.1 用于回归函数估计的SVM# 本小节推导结果与原文不一致1964年 Huber 提出，如果我们只知道描述噪声的密度是一个对称函数，那么在最坏的噪声模型下最好的逼近（最小最大策略）为采用损失函数 L(y,f(x,α))=∣y−f(x,α)∣L(y, f(x, \alpha)) = |y -f(x, \alpha)|L(y,f(x,α))=∣y−f(x,α)∣, 在这个损失函数下最小化经验风险的方法称为最小模方法，属于鲁棒回归（robust regression）方法。Hub
2020-08-22 19:13:55
389
原创 支持向量机 4 模式识别的方法
4 模式识别的方法4.1 神经网络假设我们采用ERM原则，对给定数目的训练样本上设计了一个十分复杂的学习机器（VC维很大），在训练样本上经验风险可以很小，但置信区间变大，这种现象称为过学习或过适应。故我们希望在两者之间折衷考虑，这产生了两种方法：保持置信范围一定（选择适当构造的机器），最小化经验风险，具体实现如神经网络保持经验风险固定（如等于0，在完全可分时），最小化置信范围，具体实现如支持向量机考虑指示函数集合f(x,ω)=sgn{ω⋅x+b},ω∈Rn,b∈Rf(x, \omega) =
2020-08-22 19:11:13
289
原创 支持向量机 基础 3 经验风险收敛的界
3 经验风险收敛的界之前我们描述了 ERM 原则一致收敛的充要条件或充分条件。在本节中，我们将给出 ERM 原则一致收敛的定量描述。3.1 基本不等式考虑模式识别问题，即 Q(z,α),α∈ΛQ(z, \alpha), \alpha \in \LambdaQ(z,α),α∈Λ 为指示函数集，设R(α)=∫Q(z,α)dF(z) Remp(α)=1l∑i=1lQ(z,α)R(\alpha) = \int Q(z, \alpha)dF(z) \ \ \ R_{emp}(
2020-08-22 19:08:35
353
原创 支持向量机 基础 2 ERM原则
2 经验风险最小化（ERM）归纳原则2.1 ERM 原则的一致性经验风险(empirical risk)泛函：Remp(α)=1l∑i=1lQ(zi,α)R_{emp}(\alpha)=\dfrac{1}{l}\sum\limits_{i=1}^lQ(z_i,\alpha)Remp(α)=l1i=1∑lQ(zi,α)经验风险最小化( Empirical Risk Minimization, ERM )原则即认为使经验风险泛函 Remp(α)R_{emp}(\alpha)Remp(α) 最小
2020-08-22 19:05:35
1016
1
原创 支持向量机 基础 1 学习问题的表示
1 学习问题的表示1.1 样本学习模型样本学习系统由如下三个子系统构成产生器 G 从未知概率分布中随机抽取向量 xxx训练器 S 对每个向量根据位置的条件分布返回输出值 yyy学习机器 LM 实现一定的函数集 f(x,α)f(x,\alpha)f(x,α) 从中选出最逼近训练集相应的函数假设训练器输出为联合分布函数 F(x,y)F(x,y)F(x,y), 定义损失函数 L(y,f(x,α))L(y, f(x,\alpha))L(y,f(x,α)) 为学习机器与训练器相应的差异或损失，则损失期
2020-08-22 19:03:23
116
原创 统计学习理论的本质 笔记 6-8 函数估计与VRM
6 函数估计的方法6.1 ϵ\epsilonϵ 不敏感损失函数1964年 Huber 提出，如果我们只知道描述噪声的密度是一个对称函数，那么在最坏的噪声模型下最好的逼近（最小最大策略）为采用损失函数 L(y,f(x,α))=∣y−f(x,α)∣L(y, f(x, \alpha)) = |y -f(x, \alpha)|L(y,f(x,α))=∣y−f(x,α)∣, 在这个损失函数下最小化经验风险的方法称为最小模方法，属于鲁棒回归（robust regression）方法。Huber还考虑了正态噪声与某
2020-08-21 14:24:10
259
原创 统计学习理论的本质 笔记 5 模式识别的方法 part2(5.6-5.10)
5 模式识别的方法5.6 支持向量机支持向量机 (Support Vector Machine, SVM, SV机)实现了如下方案：通过事先选择的某种映射将输入xxx映射到高维空间ZZZ中向量zzz，并在 ZZZ 中构造最优分类超平面。5.6.1 高维空间的推广定理 5.2设 lll 个样本的训练集被最大间隔超平面完全分开， PerrorP_{error}Perror 为测试错误概率，mmm 为支持向量的个数，RRR 为包含所有训练集向量的最小超球半径， Δ\DeltaΔ 为间隔值， nnn 为
2020-08-20 16:18:08
208
原创 统计学习理论的本质 笔记 5 模式识别的方法 part 1(5.1-5.5)
5 模式识别的方法5.1 为什么学习机器能够推广假设我们采用ERM原则，对给定数目的训练样本上设计了一个十分复杂的学习机器（VC维很大），在训练样本上经验风险可以很小，但置信区间变大，这种现象称为过学习或过适应。故我们希望在两者之间折衷考虑，这产生了两种方法：保持置信范围一定（选择适当构造的机器），最小化经验风险，具体实现如神经网络保持经验风险固定（如等于0，在完全可分时），最小化置信范围，具体实现如支持向量机5.2 指示函数的 sigmoid 逼近考虑指示函数集合f(x,ω)=sgn{ω
2020-08-18 21:49:50
177
原创 统计学习理论的本质 笔记 4 控制学习过程的推广能力
4 控制学习过程的推广能力一般认为一个数据集为小样本，当训练数与VC维的比值较小如 1<l/h<201 < l/h < 201<l/h<20 时。l>hl>hl>h 的原因见3.7节。4.1 结构风险最小化归纳原则3.4节（或3.7节）中的情况一般可以归纳为R(α)≤f(Remp(α),Φ(h))R(\alpha) \le f(R_{emp}(\alpha), \Phi(h))R(α)≤f(Remp(α),Φ(h))Remp(α)R_{emp
2020-08-18 09:18:32
285
原创 统计学习理论的本质 笔记 3 学习过程收敛速度的界
3 学习过程收敛速度的界3.1 基本不等式考虑模式识别问题，即 Q(z,α),α∈ΛQ(z, \alpha), \alpha \in \LambdaQ(z,α),α∈Λ 为指示函数集，设R(α)=∫Q(z,α)dF(z) Remp(α)=1l∑i=1lQ(z,α)R(\alpha) = \int Q(z, \alpha)dF(z) \ \ \ R_{emp}(\alpha) = \dfrac{1}{l} \sum_{i=1}^l Q(z, \alpha)R(α)=∫Q
2020-08-17 21:58:02
335
原创 统计学习理论的本质 笔记 2 学习过程的一致性
2 学习过程的一致性2.1 传统一致性定义和非平凡一致性概念定义 对于风险泛函 R(α)R(\alpha)R(α) 和 经验风险 Remp(α)R_{emp}(\alpha)Remp(α) 若R(αl)→l→∞pinfα∈ΛR(α) and Remp(αl)→l→∞pinfα∈ΛR(α)R(\alpha_l) \xrightarrow[l \rightarrow \infty]{p} \inf\limits_{\alpha \in \Lambda} R(\alpha) \s
2020-08-17 08:49:28
701
原创 统计学习理论的本质 笔记 1 学习问题的表示
统计学习理论的本质 笔记 1 学习问题的表示1.1 函数估计模型产生器G从未知概率分布中随机抽取向量 xxx训练器S对每个向量根据位置的条件分布返回输出值 yyy学习机器LM实现一定的函数集 f(x,α)f(x,\alpha)f(x,α) 从中选出最逼近训练集相应的函数1.2 风险最小化问题联合分布函数 F(x,y)F(x,y)F(x,y), 损失函数 L(y,f(x,α))L(y, f(x,\alpha))L(y,f(x,α))损失期望值（即风险泛函）R(α)=∫L(y,f(x,α))d
2020-08-15 17:10:11
399
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人