【周志华机器学习】西瓜书吃瓜教程学习笔记总结Task05

最新推荐文章于 2024-05-03 19:15:06 发布

JM-Xia

最新推荐文章于 2024-05-03 19:15:06 发布

阅读量356

点赞数

分类专栏：【周志华机器学习】西瓜书吃瓜教程学习笔记总结文章标签：机器学习人工智能支持向量机算法

本文链接：https://blog.csdn.net/m0_57491311/article/details/126601113

版权

【周志华机器学习】西瓜书吃瓜教程学习笔记总结专栏收录该内容

5 篇文章 1 订阅

订阅专栏

第6章支持向量机

6.1 间隔与支持向量

在样本空间中，划分超平面可通过如下线性方程来描述：

$\omega$ = ( $\omega$ 1， $\omega$ 2 ，...， $\omega$ d) 为法向量，决定了超平面的方向；

b ：位移项，决定了超平面与原点之间的距离。

（ $\omega$ ，b）确定了超平面得划分，样本空间中任意点 x 到超平面（ $\omega$ ，b）的距离可写为

支持向量support vector：使成立

间隔margin：两个异类支持向量到超平面的距离之和

最大间隔maximum margin：满足上式中约束的参数 w 和 b，使得 $\gamma$ 最大，可得下式

SVM的基本型：

6.1.1

6.2 对偶问题

SVM基本式是一个凸二次规划 convex quadratic programming问题，也可对其使用拉格朗日乘子法可得到其“对偶问题”dual problem

6.2.1 拉格朗日函数

得到模型，带入参数：

且满足：

SMO的基本思路：先固定 $\alpha _{i}$ 之外的所有参数，然后求 $\alpha _{i}$ 上的极值。由于存在约束 $\sum_{i=1}^{m}\alpha _{i}y_{i}=0$ ,若固定 $\alpha _{i}$ 之外的其他变量，则 $\alpha _{i}$ 可由其他变量导出。每次选择两个变量仪 $\alpha _{i}$ 和 $\alpha _{j}$ , 并固定其他参数.这样，在参数初始化后，SMO 不断执行如下两个步骤直至收敛：

•选取一对需更新的变量 $\alpha _{i}$ 和 $\alpha _{j}$ ;

•固定 $\alpha _{i}$ 和 $\alpha _{j}$ 以外的参数，求解式(6.2.4)获得更新后的 $\alpha _{i}$ 和 $\alpha _{j}$

更鲁棒性的做法：使用所有支持向量求解的平均值

6.3 核函数

Q：在现实任务中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面，如何解决？

可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分

“核函数" kernel function称“支持向量展式"support vector expansion

定理 6.1 核函数：令X为输入空间， $\kappa$ （·，·）是定义在 XxX上的对称函数，则K是核函数当且仅当对于任意数据 D = ｛x1，x2，....,xm ｝, "核矩阵" ( kernel matrix) K 总是半正定的

只要一个对称函数所对应的核矩阵半正定,.它就能作为核函数使用。对于一个半正定核矩阵，总能找到一个与之对应的映射 $\phi$ . 即任何一个核函数都隐式地定义了一个称为 “再生核希尔伯特空间”(Reproducing Kernel Hilbert Space,简称 RKHS)的特征空间。

此外，若K1和K2为核函数，下式也为核函数

硬间隔 hard margin：前面支持向量机形式要求所有样本均满足约束

软间隔 soft margin：解决过拟合一个办法是允许支持向量机在一些样本上出错

优化目标：

替代损失surrogate loss：因为 $\iota_{0/1}$ 非凸、非连续，故不易求解，一般用其他一些函数来代替

软间隔支持向量机：

6.5 支持向量回归

支持向量回归(Support Vector Regression,简称 SVR)：仅当f（x）与 y 之间的差别绝对值大于 $\epsilon$ 时才计算损失.如下图所示,这相当于以 f（x）为中心，构建了一个宽度为 2 $\epsilon$ 的间隔带，若训练样本落入此间隔带，则认为是被预测正确的。

$\epsilon$ -不敏感损失 $\epsilon$ -insensitive loss：

6.6 核方法

定理 6.2 (表示定理 )令H为核函数 $\kappa$ 对应的再生核希尔伯特空间， $||h||_{H}$ 表示H空间中关于h的范数，对于任意单调递增函数 $\Omega$ ：[0, $\infty$ ] $\mapsto \mathbb{R}$ 和任意非负损失函数 $\iota$ ： $\mathbb{R}^{m}x \mapsto$ [0, $\infty$ ]，优化问题：

解：

核方法kernel methods：一系列基于核函数的学习方法的统称。最常见的，是通过 “核化”(即引入核函数)来将线性学习器拓展为非线性学习器.

核线性判别分析(Kernelized Linear Discriminant Analysis,简称 KLDA)：线性判别分析通过核化来对其进行非线性拓展。