SVM-5-核的有效性

参考 http://www.cnblogs.com/jerrylead

问题：给定一个函数 K，我们能否使用 K 来替代计算 $\phi(x)^T\phi(z)$，也就说，是否能够找出一个$\phi$，使得对于所有的 x 和 z， 都有$K(x,z)=\phi(x)^T\phi(z)$？
比如给出了$K(x,z)=(x^Tz)^2$，怎样判定 K 是一个有效的核函数?

给定m个样本$\{x^1,...,x^m \}$，假设$K$是一个$m\times m$的矩阵，且矩阵中的每个元素都是一个核函数$K_{ij}=K(x^i,x^j)$。矩阵$K$称为核矩阵。（这里核函数与核矩阵都用K来表示）

对于任意的有效的核函数$K_{ij}=K(x^i,x^j)=\phi(x^i)^T\phi(x^j)=\phi(x^j)^T\phi(x^i)=K(x^j,x^i)=K_{ji}$。可见，矩阵 K 应该是个对称阵。
下面我们使用符号$\phi_k(x)$来表示映射函数$\phi(x)$的第k个属性，对于任意的向量$z$我们可以证明：

$$\begin{array}{lll} z^TKz\\ =\sum_i \sum_j z_iK_{ij}z_j\\ =\sum_i \sum_j z_i \phi(x^i)^T\phi(x^j)z_j \\ =\sum_i \sum_j z_i\sum_k \phi_k(x^i)\phi_k(x^j)z_j\\ =\sum_k\sum_i\sum_jz_i\phi_k(x^i)\phi_k(x^j)z_j\\ =\sum_k\left (\sum_iz_i\phi_k(x^i) \right)^2\\ \geq 0 \end{array}$$
因为$z$是任意的，因此核函数K必然是半正定的$（K\geq0）$。进而，核矩阵K也是半正定的。
而且由$Mercer$定理，我们可以得到，上面的条件反过来也成立。也就是说：

$$K是有效的核函数\iff 核函数矩阵K是对称半正定的$$

$$Mercer定理： 如果函数 K 是ℝ^n × ℝ^n → ℝ上的映射(也就是从两个 n 维向量映射到实数域）。那么如果 K是一个有效核函数(也称为 Mercer 核函数)，那么当且仅当对于训练样例\{x^1, x^2, … , x^m\}，其相应的核函数矩阵是对称半正定的。$$

Mercer 定理表明为了证明 K 是有效的核函数，那么我们不用去寻找$\phi$，而只需要在训练集上求出各个$K_{ij}$，然后判断矩阵 K 是否是半正定（ 使用左上角主子式大于等于零等方法）即可。

核函数不仅仅用在 SVM 上，但凡在一个模型后算法中出现了 <x,z> <script type="math/tex" id="MathJax-Element-7347">< x, z ></script>，我们都可以用$K(x,z)$去替换，这可能能够很好地改善我们的算法。