[DataAnalysis]支持向量机解决线性不可分问题——核函数

最新推荐文章于 2022-11-28 15:16:08 发布

TOMOCAT

最新推荐文章于 2022-11-28 15:16:08 发布

阅读量2.9w

点赞数

分类专栏：数据分析

本文链接：https://blog.csdn.net/TOMOCAT/article/details/82494749

版权

47 篇文章 2 订阅

订阅专栏

在实际碰到的问题中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面。我们可以将原始空间映射到一个更高维的空间，使得样本在这个特征空间内线性可分，从而可以找到合适的超平面。

记 $\phi (x)$ 表示将映射后的特征向量。在高维特征空间中划分超平面所对应的模型可表示为：

$\min_{w,b} \quad \frac{1}{2}||w||^2$

$s.t. \quad y_i(w^T\phi(x)+b)\geq 1,i=1,2,3,...m$

对应的对偶问题（拉格朗日乘子——消除参数，见https://blog.csdn.net/TOMOCAT/article/details/82493181）为：

$\max_{a}\quad \sum_{i=1}^{m}\alpha_i-\frac{1}{2} \sum_{i=1}^{m} \sum_{j=1}^{m}\alpha_i\alpha_jy_iy_j\phi(x_i)^T\phi(x_j)$

$s.t. \quad \sum_{i=1}^{m}\alpha_iy_i=0,\alpha_i\geq 0,i=1,2,3...m$

求解涉及核函数的对偶问题时涉及到计算 $\phi(x_i)^T\phi(x_j)$ ，这是样本 x_i 和 x_j 映射到高维特征空间之后的内积。由于特征空间维数可能很高，甚至可能是无穷维数，因此计算 $\phi(x_i)^T\phi(x_j)$ 通常是很困难的。我们可以设想这么一个函数：

$\kappa (x_i,x_j)=<\phi(x_i),\phi(x_j)>=\phi(x_i)^T\phi(x_j)$

即和在特征空间中的内积等于等于他们在原始样本空间中通过函数 $\kappa ()$ 计算的结果。

从而支持向量机的目标函数改写成：

$\max_{a}\quad \sum_{i=1}^{m}\alpha_i-\frac{1}{2} \sum_{i=1}^{m} \sum_{j=1}^{m}\alpha_i\alpha_jy_iy_j\kappa (x_i,x_j)$

$s.t. \quad \sum_{i=1}^{m}\alpha_iy_i=0,\alpha_i\geq 0,i=1,2,3...m$

求解后可以得到：

$f(x)=w^T\phi(x)+b=\sum_{i=1}^{m}\alpha_iy_i\phi(x_i)^T\phi(x)+b=\sum_{i=1}^{m}\alpha_iy_i\kappa (x,x_i)+b$

通常对文本数据采用线性核函数，情况不明时可先尝试高斯核函数。

常用核函数
名称	表达式	参数
线性核	$\kappa (x_i,x_j)=x_i^Tx_j$
多项式核	$\kappa (x_i,x_j)=(x_i^Tx_j)^d$	$d\geq 1$ 为多项式次数
高斯核	$\kappa (x_i,x_j)=exp(-\frac{\|\|x_i-x_j\|\|^2}{2\sigma ^2})$	$\sigma > 0$ 为高斯核的带宽
拉普拉斯核	$\kappa (x_i,x_j)=exp(-\frac{\|\|x_i-x_j\|\|}{\sigma })$	$\sigma > 0$
SIgmoid	$\kappa (x_i,x_j)=tanh(\beta x_i^Tx_j+\theta )$	tanh为双曲正切函数