Gram矩阵和核函数

最新推荐文章于 2023-10-25 16:30:03 发布

Sunny_Jie

最新推荐文章于 2023-10-25 16:30:03 发布

阅读量4.2k

点赞数 7

分类专栏：机器学习数学原理文章标签：格拉姆矩阵 Gram矩阵正定核函数

本文链接：https://blog.csdn.net/qq_35866736/article/details/97289151

版权

Gram矩阵定义
内积空间中的一组向量 $\bm v_1,\bm v_2,\cdots,\bm v_n$ 的Gram矩阵是内积的Hermitian矩阵（复共轭对称矩阵 $A^H=A$ ），定义为： ${\rm G}_{ij}=\langle\bm v_i,\bm v_j\rangle$ ，即：如果是一组实向量，则产生的Gram矩阵是对称矩阵（symmetric matrix）；如果是复向量，产生的Gram矩阵是复共轭对称矩阵。
给定一个实矩阵 $A$ ，矩阵 $A^TA$ 是 $A$ 的列向量的Gram 矩阵，而矩阵 $AA^T$ 是 $A$ 的行向量的Gram矩阵。
在Euclidean空间或以二范数为基础的Hilbert空间中，Gram矩阵是半正定矩阵：
- 证明： $设A=(\bm v_1,\bm v_2,\cdots,\bm v_n)$ ，由格拉姆矩阵的定义有 ${\rm G}=A^HA$ ，我们知道 $A^HA$ 是半正定矩阵，可由 $\bm x^HA^HA\bm x=(A\bm x)^H(A\bm x)=||A\bm x||_2^2\geq0$ 证明。
- 应用：正定核函数 $K(\bm x_i,\bm x_j)=\bm \phi(\bm x_i)\bm\cdot\bm \phi(\bm x_j)$ 通常所说的核函数都是正定核函数，为什么呢？通常不加以显示地定义映射函数 $\bm \phi(\bm x)$ ，而是以核函数直接产生的映射内积的结果为导向（结果导向型），直接用核函数作用输入训练样本 $\mathcal X$ ，产生核函数 $K(\bm x,\bm z)$ 对应的Gram矩阵： $K=\left[K(\bm x_i,\bm x_j)\right]_{m\times m}$ 此核函数对应的Gram矩阵是半正定矩阵。因为映射函数 $\bm \phi(\bm x)$

关注