支持向量机（SVM）中核函数的本质意义

phoenix@Capricornus

于 2024-06-15 21:37:35 发布

阅读量599

点赞数 13

分类专栏：模式识别与机器学习文章标签：支持向量机算法机器学习

本文链接：https://blog.csdn.net/u013600306/article/details/139707399

版权

模式识别与机器学习专栏收录该内容

17 篇文章 0 订阅

订阅专栏

本质上在做什么？
内积是距离度量，核函数相当于将低维空间的距离映射到高维空间的距离，并非对特征直接映射。
为什么要求核函数是对称且Gram矩阵是半正定？
核函数对应某一特征空间的内积，要求①核函数对称；②Gram矩阵半正定。
证明内积对应的Gram矩阵半正定：
$\begin{aligned} {{ \bm \alpha}^{\rm T} {\bm K} { \bm \alpha}} &=\begin{bmatrix} {\alpha}_1, {\alpha}_2, \cdots, {\alpha}_n \end{bmatrix} \begin{bmatrix} \kappa \left( {\bm x}_1, {\bm x}_1 \right) &\kappa \left( {\bm x}_1, {\bm x}_2 \right) &\cdots &\kappa \left( {\bm x}_1, {\bm x}_n \right) \\ \kappa \left( {\bm x}_2, {\bm x}_1 \right) &\kappa \left( {\bm x}_2, {\bm x}_2 \right) &\cdots &\kappa \left( {\bm x}_1, {\bm x}_n \right) \\ \vdots &\vdots &\ddots &\vdots \\ \kappa \left( {\bm x}_n, {\bm x}_1 \right) &\kappa \left( {\bm x}_n, {\bm x}_2 \right) &\cdots &\kappa \left( {\bm x}_n, {\bm x}_n \right) \\ \end{bmatrix} \begin{bmatrix} {\alpha}_1 \\ {\alpha}_2 \\ \vdots \\ {\alpha}_n \\ \end{bmatrix} \\ &= \sum\limits_{i=1}^{n} \sum\limits_{j=1}^{n} {\alpha}_i \kappa \left( {\bm x}_i, {\bm x}_j \right) {\alpha}_j \\ &= \sum\limits_{i=1}^{n} \sum\limits_{j=1}^{n} {\alpha}_i {\alpha}_j \langle \phi \left( {\bm x}_i \right), \phi \left( {\bm x}_j \right) \rangle\\ &= \langle \sum\limits_{i=1}^{n} {\alpha}_i \phi \left( {\bm x}_i \right), \sum\limits_{j=1}^{n} {\alpha}_j \phi \left( {\bm x}_j \right) \rangle \\ &= \lVert \sum\limits_{i=1}^{n} {\alpha}_i \phi \left( {\bm x}_i \right) \rVert^2_2 \\ &\geqslant 0 \end{aligned}$