DataWhale吃瓜第六章学习——支持向量机

6.1 间隔与支持向量

• 基本思想：在样本空间中找到能将不同类别的样本分开的划分超平面。

• 超平面定义：超平面由法向量 (u) 和位移项 (b) 确定，可表示为
  $$w^{T}z+b=0$$

• 距离公式：任意点 z到超平面的距离 d可以表示为
  $$\frac{|w^{T}z+b|}{||w||}$$

• 支持向量：距离超平面最近的训练样本点，这些点满足等号条件，是决定最终超平面的关键。

• 最大间隔：目标是找到具有最大间隔的划分超平面，即最大化两个异类支持向量到超平面的距离之和。

6.2 对偶问题

• 拉格朗日乘子法：用于求解原始问题的对偶问题，简化计算复杂度。
• 对偶问题定义：最大化最小化目标函数 L(a, w, b)的 a_i，同时满足约束条件。
• KKT条件：解决对偶问题需要满足的等式和不等式约束条件。
• 核技巧：当数据非线性可分时，通过映射到高维特征空间使数据线性可分，避免直接计算高维空间中的内积。

6.3 核函数

• 核函数的定义：一个函数 k(x, x’)，使得
  $$(x^T{x}^{\prime }{)}^{T}k(x,x^{\prime })$$
  等于 x 和 x’ 在原空间中的内积。

• 核方法的优势：无需显式计算高维特征空间中的内积，而是通过低维数据计算核矩阵进行操作。

• 常用核函数：线性核、多项式核、高斯核和Sigmoid核等。

6.4 软间隔与正则化

• 软间隔：允许一些样本不满足硬间隔的要求，通过引入松弛变量ξ_i 来处理不可分样本。
• 优化目标：最大化间隔的同时最小化经验风险与正则化的折衷。
• 损失函数：常用的替代损失函数有hinge损失、指数损失和logistic损失。
• 正则化：通过引入惩罚项来控制模型的复杂度，防止过拟合。常用的正则化项包括L1范数和L2范数。

6.5 支持向量回归（SVR）

• 基本思想：允许模型输出与真实值之间存在一定误差范围，而不是完全相等。
• E-不敏感损失函数：当预测误差小于等于ε时不计入损失，从而构建了一个容忍带。
• 优化目标：最小化经验风险与正则化项的折衷。
• 核技巧扩展：类似于分类问题，SVR也可以通过核方法扩展到非线性问题。