【吃瓜教程】西瓜书+南瓜书 第六章 学习笔记

吃瓜教材：

西瓜书：周志华老师的《机器学习》

南瓜书：《机器学习公式详解》第2版

吃瓜视频：【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导

第六章 支持向量机

6.1 间隔与支持向量

       支持向量机：对于线性可分数据集，支持向量机寻找距离正负样本都最远的超平面，感知机是随便一个超平面只要能区分样本即可，相比于感知机（所有黑色直线均可），支持向量机解（最粗的黑线）是唯一的，且不偏不倚，泛化性能更好。

  超平面

1.给定一个w,b确定唯一一个超平面；

2.超平面方程不唯一（等号两边同×一个数，右边仍是0，左边w,b已变）；

3.法向量w垂直于超平面；

4.法向量w指向的那一半空间为正空间（带入方程＞0），另一半负空间（代入方程＜0）；

几何间隔

支持向量机模型 

对线性可分数据集：

支持向量积策略

6.2 对偶问题

求解式（6.6）：采用拉格朗日对偶求解

6.3 核函数

若原始样本空间内不存在一个能正确划分两类样本的超平面（数据集线性不可分），则将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。（如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间是样本可分。）

通常导致线性不可分的就那几个异常样本，因为几个异常样本，将全体样本映射到更高维空间，易出现过拟合问题。

6.4 软间隔与正则化

软间隔支持向量机：对于线性不可分数据集，允许支持向量机犯错—允许部分（尽可能少）样本不满足约束条件。

优化目标（最大化间隔的同时，不满足约束的样本尽可能少）： 

合格的损失函数的要求：

1.当满足约束条件时，损失为0

2.当不满足约束条件时，损失＞0

3.（可选）当不满足约束条件时，损失与其违反约束条件的程度成正比

6.5 支持向量回归（SVR）

相比于线性回归用一条线拟合样本，SVR采用线为中心，宽度为2ε的间隔带拟合样本。

1.落在带子上的点不计入损失

2.不在带子上的点以偏离的距离作为损失

以最小化损失的方式迫使间隔带从样本最密集的地方（中心地带）穿过，达到拟合样本的目的。