6.1 间隔与支持向量
-
基本思想:在样本空间中找到能将不同类别的样本分开的划分超平面。
-
超平面定义:超平面由法向量 (u) 和位移项 (b) 确定,可表示为
w T z + b = 0 w^T z + b = 0 wTz+b=0 -
距离公式:任意点 z到超平面的距离 d可以表示为
∣ w T z + b ∣ ∣ ∣ w ∣ ∣ \frac{|w^T z + b|}{||w||} ∣∣w∣∣∣wTz+b∣ -
支持向量:距离超平面最近的训练样本点,这些点满足等号条件,是决定最终超平面的关键。
-
最大间隔:目标是找到具有最大间隔的划分超平面,即最大化两个异类支持向量到超平面的距离之和。
6.2 对偶问题
- 拉格朗日乘子法:用于求解原始问题的对偶问题,简化计算复杂度。
- 对偶问题定义:最大化最小化目标函数 L(a, w, b)的 ai,同时满足约束条件。
- KKT条件:解决对偶问题需要满足的等式和不等式约束条件。
- 核技巧:当数据非线性可分时,通过映射到高维特征空间使数据线性可分,避免直接计算高维空间中的内积。
6.3 核函数
-
核函数的定义:一个函数 k(x, x’),使得
( x T x ′ ) T k ( x , x ′ ) (x^T x')^{T} k(x, x') (xTx′)Tk(x,x′)
等于 x 和 x’ 在原空间中的内积。 -
核方法的优势:无需显式计算高维特征空间中的内积,而是通过低维数据计算核矩阵进行操作。
-
常用核函数:线性核、多项式核、高斯核和Sigmoid核等。
6.4 软间隔与正则化
- 软间隔:允许一些样本不满足硬间隔的要求,通过引入松弛变量ξi 来处理不可分样本。
- 优化目标:最大化间隔的同时最小化经验风险与正则化的折衷。
- 损失函数:常用的替代损失函数有hinge损失、指数损失和logistic损失。
- 正则化:通过引入惩罚项来控制模型的复杂度,防止过拟合。常用的正则化项包括L1范数和L2范数。
6.5 支持向量回归(SVR)
- 基本思想:允许模型输出与真实值之间存在一定误差范围,而不是完全相等。
- E-不敏感损失函数:当预测误差小于等于ε时不计入损失,从而构建了一个容忍带。
- 优化目标:最小化经验风险与正则化项的折衷。
- 核技巧扩展:类似于分类问题,SVR也可以通过核方法扩展到非线性问题。