Gram 矩阵性质及应用

• $v_1,v_2,\ldots,v_n$ 是内积空间的一组向量，Gram 矩阵定义为： $G_{ij}=\langle v_i,v_j\rangle$，显然其是对称矩阵。

• 其实对于一个$X_{N\cdot d}$（N 个样本，d 个属性）的样本矩阵而言，$X\cdot X'$ 即为 Gram 矩阵；

1. 基本性质

• 半正定（positive semidefinite）

2. 应用

• 如果 $v_1,v_2,\ldots,v_n$ 分别是随机向量，则 Gram 矩阵是协方差矩阵；

3. 在 ML 中的应用

对于感知机模型（perceptron）的对偶形式：

• 输入：线性可分的数据集 $T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N, y_N)\}$，其中 $x_i\in \mathbb R^n, \; y_i\in \{-1,+1\}$ ，学习率为 $\eta$，

• 输出：$\alpha,b$，感知机模型为 $f(x)=\text{sgn}(\sum\limits_{j=1}^N\alpha_jy_jx_j\cdot x+b)$，显然 $\alpha$ 是长度为 N 的向量；

• 算法：

  • (1) $\alpha \leftarrow 0, b\leftarrow 0$
  • (2) 在训练集中选取数据 $(x_i,y_i)$
  • (3) 如果 $y_i\left(\sum\limits_{j=1}^N\alpha_jy_jx_j\cdot x+b\right)\leq 0$，
    
    • $\alpha_i\leftarrow \alpha_i+\eta$
    • $b\leftarrow + \eta y_i$
  • (4) 转至(2), 直至没有误分类数据；