核函数概念及简要性质理解

核函数定义

  《统计学习方法》中给出的核函数的定义为：
  设$\mathcal{X}$是输入空间（欧式空间${\mathbb{R}}^n$的子集或离散集合），$\mathcal{H}$为特征空间（希尔伯特空间），如果存在一个从$\mathcal{X}$到$\mathcal{H}$的映射
$$\varphi (x):\mathcal{X}\to \mathcal{H}$$
使得对所有$x,y\in \mathcal{X}$，函数$K(x,y)$满足条件
$$K(x,y)=<\varphi (x),\varphi (y)>$$
则称$K(x,y)$为核函数，$\varphi (x)$为映射函数。

• 对于给定的核$K(x,y)$，特征空间$\mathcal{H}$和映射函数$\varphi$的取法不唯一。

  由核函数的定义，确定一个核函数需要给出一个映射$\varphi$和一个希尔伯特空间（完备的内积空间）$\mathcal{H}$：已知映射函数$\varphi$，求其在希尔伯特空间$\mathcal{H}$的内积可得核函数。

  设$\mathcal{X}\subseteq {\mathbb{R}}^n$，$K(x,y)$是定义在$\mathcal{X}\times \mathcal{X}$上的对称函数，如果对任意$x_i\in \mathcal{X},i=1,2,...,m$，$K(x,y)$对应的Gram矩阵
$$K=[K(x_i,x_j){]}_{m\times m}$$
是半正定矩阵，则称$K(x,y)$是正定核。

• 正定核函数的定义不涉及其他未知量。在构造核函数时很有用。

正定核函数的$\varphi$及$\mathcal{H}$

  假设$K(x,y)$是定义在$\mathcal{X}\times \mathcal{X}$上的对称函数，并且对任意$x_i\in \mathcal{X},i=1,2,...,m$，$K(x,y)$对应的Gram矩阵是半正定的，定义映射
$$\varphi :x\to K(\cdot ,x)$$
  接下来将$\varphi$的像空间完备化为一个希尔伯特空间：
  定义集合
S = { f ( ⋅ ) = ∑ i = 1 m α i K ( ⋅ , x i ) ∣ ∀ x i ∈ X , α i ∈ R , i = 1 , 2 , . . . , m } \mathcal{S}=\{f(\cdot)=\sum_{i=1}^m\alpha_iK(\cdot,x_i) | \forall x_i\in\mathcal{X},\alpha_i\in\mathbb{R},i=1,2,...,m\} S={f(⋅)=i=1∑m​αi​K(⋅,xi​)∣∀xi​∈X,αi​∈R,i=1,2,...,m}
由于集合$\mathcal{S}$对加法和数乘运算是封闭的，所以$\mathcal{S}$构成一个向量空间。
  在$\mathcal{S}$上定义内积运算$<\cdot ,\cdot >$（非负，对称，线性）：  $\forall f,g\in \mathcal{S}$
$$f(\cdot )=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i),g(\cdot )=\sum _{j=1}^l{\beta }_{j}K(\cdot ,y_j)$$
$$<f,g>=\sum _{i=1}^m\sum _{j=1}^l{\alpha }_i{\beta }_{j}K(x_i,y_j)$$
定义了内积运算的向量空间$\mathcal{S}$为内积空间。
  由内积诱导的范数：
$$||f||=\sqrt{<f,f>}$$
则$\mathcal{S}$是一个赋范向量空间。
  根据泛函分析理论，对于不完备的赋范向量空间$\mathcal{S}$，一定可以使之完备化，得到完备的赋范向量空间$\mathcal{H}$。一个内积空间，当作为一个赋范向量空间是完备的时候，就是希尔伯特空间，即$\mathcal{H}$是希尔伯特空间。
  这样，对上述给定的满足对称性、正定性的函数$K(x,y)$，可以构造由$\mathcal{X}$到希尔伯特空间$\mathcal{H}$的映射：
$$\varphi :x\to K(\cdot ,x)$$
由内积的定义
$$<K(\cdot ,x),f(\cdot )>=\sum _{i=1}^m{\alpha }_{i}K(x,x_i)=f(x)$$
$$<\varphi (x),\varphi (y)>=<K(\cdot ,x),K(\cdot ,y)>=K(x,y)$$
说明$K$为核函数。

核的再生性：$<K(\cdot ,x),f(\cdot )>=f(x)$，$<K(\cdot ,x),K(\cdot ,y)>=K(x,y)$。

类比有限空间

	欧式空间${\mathbb{R}}^n$	平方可积函数空间 ${\mathbb{L}}^2(f)$
向量加法结合律	$x+(y+z)=(x+y)+z$	$f(x)+[g(x)+h(x)]$
向量加法交换律	$x+y=y+x$	$f(x)+g(x)=g(x)+f(x)$
向量加法单位元	$x+0=x$	$f(x)+0=f(x)$
向量加法逆元	$\forall x\in {\mathbb{R}}^n,\exists y\in {\mathbb{R}}^{n}s.tx+y=0$	$\forall f(x)\in {\mathbb{L}}^2(f),\exists g(x)\in {\mathbb{L}}^2(f)s.tf(x)+g(x)=0$
标量乘法对向量加法分配律	$a(x+y)=ax+ay$	$a(f(x)+g(x))=af(x)+ag(x)$
标量乘法对域加法分配律	$(a+b)x=ax+bx$	$(a+b)f(x)=af(x)+bf(x)$
标量乘法与标量的域相容	$a(bx)=(ab)x$	$a(bf(x))=(ab)f(x)$
标量乘法单位元	$1x=x$	$1f(x)=f(x)$
内积	$<x,y>={\sum }_{i=1}^n{x}_i{y}_i$	$<f(x),g(x)>={\int }_{x}f(x)g(x)dx$

数域 $\mathbb{F}$，$a,b\in \mathbb{F}$，$x,y,z\in {\mathbb{R}}^n$，$f(x),g(x),h(x)\in {\mathbb{L}}^2(f)$。（${\mathbb{L}}^2(f)$是希尔伯特空间）

  对比上表中两列，函数可以看作无限维向量，那么，以两个的独立的变量为自变量的函数$K(\cdot ,\cdot )$，可以看作是无限维的矩阵，在这样的“矩阵”中，满足对称、正定的，即是核函数（kernel function）。

特征值与特征函数

  类比矩阵中的特征值与特征向量$A^{T}x=\lambda x$，存在特征值$\lambda$与特征函数$\psi (x)$，使得
$$\int K(x,y)\psi (x)dx=\lambda \psi (y)$$
对于两个不相等的特征值${\lambda }_1$、${\lambda }_2$及其相应的特征函数${\psi }_1(x)$、${\psi }_2(x)$，有
$$\begin{array}{rl}\int {\lambda }_1{\psi }_1(x){\psi }_2(x)dx& =\int \int K(y,x){\psi }_1(y)dy{\psi }_2(x)dx\\ & =\int \int K(x,y){\psi }_1(x)dx{\psi }_2(y)dy\\ & =\int {\lambda }_2{\psi }_2(y){\psi }_1(y)dy\\ & =\int {\lambda }_2{\psi }_2(x){\psi }_1(x)dx\end{array}$$
因此
$$<{\psi }_1,{\psi }_2>=\int {\psi }_1(x){\psi }_2(x)dx=0$$
表明不同特征值对应的特征函数正交。
  对于一个核函数，有可列个特征值 { λ i } i = 1 ∞ \{\lambda_i\}_{i=1}^\infty {λi​}i=1∞​，可列个特征函数 { ψ i } i = 1 ∞ \{\psi_i\}_{i=1}^\infty {ψi​}i=1∞​，类似于矩阵的特征值分解$A=Q\Sigma Q^T$，有
$$K(x,y)=\sum _{i=0}^{\infty }{\lambda }_i{\psi }_i(x){\psi }_i(y)$$
该结果由Mercer定理表述。 { ψ i } i = 1 ∞ \{\psi_i\}_{i=1}^\infty {ψi​}i=1∞​可以作为函数空间的一组正交基。

再生核希尔伯特空间

  设$K(\cdot ,\cdot )$为一个核函数（无限维矩阵）；$K(\cdot ,x)$固定了一个参数，可以看作一个无限维向量（矩阵$K(\cdot ,\cdot )$的第$x$列）；$K(x,y)$表示核函数$K(\cdot ,\cdot )$在点$x,y$处的值。
  由Mercer定理，
$$K(x,\cdot )=\sum _{i=0}^{\infty }{\lambda }_i{\psi }_i(x){\psi }_i(\cdot )$$
将 { λ i ψ i } i = 1 ∞ \{\sqrt{\lambda_i}\psi_i\}_{i=1}^\infty {λi​ ​ψi​}i=1∞​作为一组正交基构成希尔伯特空间$\mathcal{H}$，在这组基下，可写
$$K(x,\cdot )=(\sqrt{{\lambda }_1}{\psi }_1,\sqrt{{\lambda }_2}{\psi }_2,...{)}_{\mathcal{H}}^T$$
类似欧式空间汇中内积，
$$<K(X,\cdot ),K(y,\cdot ){>}_{\mathcal{H}}=\sum _{i=0}^{\infty }{\lambda }_i{\psi }_i(x){\psi }_i(y)=K(x,y)$$
定义$\mathcal{X}$到$\mathcal{H}$的映射$\Phi$
$$\Phi (x)=K(x,\cdot )=(\sqrt{{\lambda }_1}{\psi }_1,\sqrt{{\lambda }_2}{\psi }_2,...{)}_{\mathcal{H}}^T$$
则
$$<\Phi (x),\Phi (y){>}_{\mathcal{H}}=<K(X,\cdot ),K(y,\cdot ){>}_{\mathcal{H}}=K(x,y)$$

常见核函数

多项式核函数（polynomial kernel function）

$$K(x,y)=(xy+1{)}^p$$

高斯核函数（Gaussian kernel function）/高斯径向基函数

$$K(x,y)=exp(-\frac{||x-y|{|}^2}{2{\sigma }^2})$$

参考：
核函数详解
统计学习方法—李航