Mercer 条件的基本概念及证明

Mercer 条件 是核函数理论中的一个重要概念，它确保了一个给定的对称函数可以表示为某个高维特征空间中的内积。这个条件在支持向量机（SVM）和其他基于核方法的机器学习算法中非常重要。

---

---

基本介绍

Mercer 条件的定义

设 $K(x,y)$ 是一个定义在 $\mathcal{X}\times \mathcal{X}$ 上的对称函数，其中 $\mathcal{X}$ 是一个紧致的度量空间。Mercer 条件要求 $K(x,y)$ 满足以下性质：

对于任意有限输入集 { x 1 , x 2 , … , x n } ⊂ X \{x_1, x_2, \ldots, x_n\} \subset \mathcal{X} {x1​,x2​,…,xn​}⊂X 和任意实值函数 $f$，有：

$$\iint K(x,y)f(x)f(y)dxdy\ge 0$$

这意味着 $K(x,y)$ 是一个半正定函数。

Mercer 定理

根据 Mercer 定理，如果 $K(x,y)$ 满足 Mercer 条件，那么它可以表示为某个特征映射 $\varphi$ 的内积，即：

$$K(x,y)=\sum _{i=1}^{\infty }{\lambda }_i{\varphi }_i(x){\varphi }_i(y)$$

其中，${\lambda }_i$ 是非负的特征值，${\varphi }_i$ 是对应的特征函数。这些特征函数构成了一个正交基，可以用来表示高维特征空间中的数据。

实际应用

在实际应用中，Mercer 条件确保了可以使用核函数 $K(x,y)$ 来隐式地计算高维空间中的内积，而无需显式地计算特征向量 $\varphi (x)$ 和 $\varphi (y)$。这使得可以在低维空间中进行高效的计算，同时利用高维空间的特性来处理复杂的非线性问题。

常见的满足 Mercer 条件的核函数包括：

1. 线性核函数：$K(x,y)=⟨x,y⟩$
2. 多项式核函数：$K(x,y)=(⟨x,y⟩+c{)}^d$
3. 高斯径向基函数（RBF）核函数：$K(x,y)=\exp \left(-\frac{\Vert x-y{\Vert }^2}{2{\sigma }^2}\right)$
4. Sigmoid核函数：$K(x,y)=\tanh (\alpha ⟨x,y⟩+c)$

---

证明

Mercer 条件的证明 涉及到泛函分析和积分方程理论, 依赖于对称核函数的性质和紧致度量空间上的积分方程理论。

1. 对称核函数的定义

设 $K(x,y)$ 是一个定义在紧致度量空间 $\mathcal{X}$ 上的对称函数，即 $K(x,y)=K(y,x)$。

2. 半正定性

Mercer 条件要求 $K(x,y)$ 是半正定的，这意味着对于任意有限输入集 { x 1 , x 2 , … , x n } ⊂ X \{x_1, x_2, \ldots, x_n\} \subset \mathcal{X} {x1​,x2​,…,xn​}⊂X 和任意实值函数 $f$，有：

$$\iint K(x,y)f(x)f(y)dxdy\ge 0$$

3. 积分方程

考虑 $K(x,y)$ 作为积分算子 $T$ 的核，定义为：

$$(Tf)(x)=\int K(x,y)f(y)dy$$

4. 特征值和特征函数

根据积分方程理论，对称核函数 $K(x,y)$ 可以分解为特征值和特征函数的级数展开：

$$K(x,y)=\sum _{i=1}^{\infty }{\lambda }_i{\varphi }_i(x){\varphi }_i(y)$$

其中，${\lambda }_i$ 是非负的特征值，${\varphi }_i$ 是对应的特征函数，并且这些特征函数构成了一个正交基。

5. Mercer 定理

Mercer 定理表明，如果 $K(x,y)$ 满足 Mercer 条件，那么它可以表示为上述特征值和特征函数的级数展开形式。这意味着 $K(x,y)$ 可以表示为某个高维特征空间中的内积。

6. 证明细节

证明的具体细节涉及到泛函分析中的谱理论和积分方程的解法。通过对称核函数的性质和紧致度量空间上的积分方程理论，可以证明 $K(x,y)$ 的半正定性保证了其可以分解为特征值和特征函数的级数展开形式。

---