支持向量机
文章平均质量分 60
半只兔子M
csdn新手
展开
-
支持向量机 7 VRM原则
7 邻域风险最小化原则(VRM)硬邻域函数定义邻域(E表示一种度量,如E=1,2,..,∞E=1,2,..,\inftyE=1,2,..,∞)vE(a)={x:∣∣x−a∣∣E≤ra}v_E(a) = \{x: ||x-a||_E \le r_a\}vE(a)={x:∣∣x−a∣∣E≤ra}如以下典型例子v1(a)={x:∑k=1n∣xk−ak∣≤ra}v2(a)={x:∑k=1n∣xk−ak∣2≤ra2}v∞(a)={x:maxk=1,..,n∣xk−ak∣≤ra}v_1(a) = \{原创 2020-08-22 19:16:40 · 481 阅读 · 0 评论 -
支持向量机 6 密度估计的方法
6 密度估计的方法# 本节内容中约束条件需要由某些一致性定理保证,这里没有给出。SVM用于密度估计问题密度估计问题可以表述为:求解概率密度p(t,a):∫−∞xp(t,α)dt=F(x)p(t,a): \int_{-\infty}^x p(t, \alpha) dt = F(x)p(t,a):∫−∞xp(t,α)dt=F(x)已知 (xi)(x_i)(xi) 为 满足 F(x)F(x)F(x) 分布的随机独立样本集,并据此可给出经验分布函数Fl(x)=1l∑i=1lθ(x−xi)F_l原创 2020-08-22 19:15:05 · 300 阅读 · 0 评论 -
支持向量机 5 函数估计的方法
5 函数估计的方法5.1 用于回归函数估计的SVM# 本小节推导结果与原文不一致1964年 Huber 提出,如果我们只知道描述噪声的密度是一个对称函数,那么在最坏的噪声模型下最好的逼近(最小最大策略)为采用损失函数 L(y,f(x,α))=∣y−f(x,α)∣L(y, f(x, \alpha)) = |y -f(x, \alpha)|L(y,f(x,α))=∣y−f(x,α)∣, 在这个损失函数下最小化经验风险的方法称为最小模方法,属于鲁棒回归(robust regression)方法。Hub原创 2020-08-22 19:13:55 · 371 阅读 · 0 评论 -
支持向量机 4 模式识别的方法
4 模式识别的方法4.1 神经网络假设我们采用ERM原则,对给定数目的训练样本上设计了一个十分复杂的学习机器(VC维很大),在训练样本上经验风险可以很小,但置信区间变大,这种现象称为过学习或过适应。故我们希望在两者之间折衷考虑,这产生了两种方法:保持置信范围一定(选择适当构造的机器),最小化经验风险,具体实现如神经网络保持经验风险固定(如等于0,在完全可分时),最小化置信范围,具体实现如支持向量机考虑指示函数集合f(x,ω)=sgn{ω⋅x+b},ω∈Rn,b∈Rf(x, \omega) =原创 2020-08-22 19:11:13 · 271 阅读 · 0 评论 -
支持向量机 基础 3 经验风险收敛的界
3 经验风险收敛的界之前我们描述了 ERM 原则一致收敛的充要条件或充分条件。在本节中,我们将给出 ERM 原则一致收敛的定量描述。3.1 基本不等式考虑模式识别问题,即 Q(z,α),α∈ΛQ(z, \alpha), \alpha \in \LambdaQ(z,α),α∈Λ 为指示函数集,设R(α)=∫Q(z,α)dF(z) Remp(α)=1l∑i=1lQ(z,α)R(\alpha) = \int Q(z, \alpha)dF(z) \ \ \ R_{emp}(原创 2020-08-22 19:08:35 · 314 阅读 · 0 评论 -
支持向量机 基础 2 ERM原则
2 经验风险最小化(ERM)归纳原则2.1 ERM 原则的一致性经验风险(empirical risk)泛函:Remp(α)=1l∑i=1lQ(zi,α)R_{emp}(\alpha)=\dfrac{1}{l}\sum\limits_{i=1}^lQ(z_i,\alpha)Remp(α)=l1i=1∑lQ(zi,α)经验风险最小化( Empirical Risk Minimization, ERM )原则即认为使经验风险泛函 Remp(α)R_{emp}(\alpha)Remp(α) 最小原创 2020-08-22 19:05:35 · 944 阅读 · 1 评论 -
支持向量机 基础 1 学习问题的表示
1 学习问题的表示1.1 样本学习模型样本学习系统由如下三个子系统构成产生器 G 从未知概率分布中随机抽取向量 xxx训练器 S 对每个向量根据位置的条件分布返回输出值 yyy学习机器 LM 实现一定的函数集 f(x,α)f(x,\alpha)f(x,α) 从中选出最逼近训练集相应的函数假设训练器输出为联合分布函数 F(x,y)F(x,y)F(x,y), 定义损失函数 L(y,f(x,α))L(y, f(x,\alpha))L(y,f(x,α)) 为学习机器与训练器相应的差异或损失,则损失期原创 2020-08-22 19:03:23 · 104 阅读 · 0 评论