ML(4)-核函数与再生核希尔伯特空间

1.支持向量积-核函数

核(kernel)的概念由Aizenman et al.于1964年引入模式识别领域，原文介绍的是势函数的方法。在那之后，核函数在模式识别领域沉积了很久。1992年Boser 等人的在解决支持向量机算法时，重新将核的概念引入机器学习领域；从此引发了核函数研究应用的热潮。一个最简单的应用就是：利用核方法扩展经典算法，将算法中的内积替换成核函数。

在支持向量机中，核函数是 将 原线性不可分的特征空间中的特征向量$x$，映射到 线性可分的高维特征空间的特征向量$\varphi (x)$，然后,特征向量$\varphi (x)$之间求内积的一个表达式。(核函数就是一个表达式)
$$k(x_n,x_m)=\varphi (x_n{)}^T\varphi (x_m)$$

核函数的巧妙之处：高维空间中特征向量的内积表达式，可以直接用低维特征向量的各个维度的坐标表示。所以，只需将低维度特征$x,x^{\prime }$带入核函数$k(x,x^{\prime })$求函数值，就等价于$x->\varphi (x),x^{\prime }->\varphi (x^{\prime })=>求内积<\varphi (x),\varphi (x^{\prime })>$的过程，当高维空间维很高时，内积求解十分缓慢，所以核函数是一个十分便利的工具。

基本概念： 核函数$k(x,x^{\prime })$，样本（特征向量） { x i n } \{x_i^n\} {xin​}，gram矩阵 K = { K i , j } K=\{ K_{i,j} \} K={Ki,j​},$K_{i,j}=k(x_i,x_j)$
$$\left[\begin{array}{ccccc}k(x_1,x_1)& k(x_1,x_2)& ...& k(x_1,x_n)& \\ k(x_2,x_1)& k(x_2,x_2)& ...& k(x_2,x_n)& \\ ...& ...& ...& ...& \\ k(x_n,x_1)& k(x_n,x_2)& ...& k(x_n,x_n)& \end{array}\right]$$

详细SVM与核函数参见（对偶问题的求解巴拉巴拉）：https://cuijiahua.com/blog/2017/11/ml_9_svm_2.html

---

---

2.一个函数为核函数的条件

可以通过多种方式构造核函数，（1）原始的映射构造法、（2）核函数性质+简单核函数构造法[RBF核函数就可以从此构造出来]、（3）概率生成式模型开始构造。

高维特征向量的内积 实际是 低维特征向量 各个分量的函数=》高维内积 是一个函数。但是，并非每一个函数都对应着一个高维内积。只有当一个函数满足mercer定理时，它才能作为一个核函数。所以可以通过mercer定义判断一个函数是否可以作为一个核函数。

---

Mercer定理： 对称且半正定的函数可以作为一个核函数。

（离散化）简单理解：“半正定”三个字常见于矩阵分析中。此处，可通过判定对称函数Gram 矩阵的半正定性，进而判断源函数的半正定性质。一个n × n的实对称矩阵A是正定的当且仅当对于所有的非零实系数向量z，都有$z^{T}Az>0$。

具体做法：将样本 { x i = 1 i = n } \{x_{i=1}^{i=n}\} {xi=1i=n​}带入函数$k(x,x^{\prime })$，计算gram矩阵 K = { K i , j } K=\{ K_{i,j} \} K={Ki,j​},$K_{i,j}=k(x_i,x_j)$，判定gram矩阵的半正定性。

（连续化）定义：一个对称函数$k(x,x^{\prime })$是半正定的，当且仅当对于任意的函数g下式成立：
$${\int }_{\mathcal{X}}g(x)k(x,x^{\prime })g(x^{\prime })dxd{x}^{\prime }\ge 0$$

---

通过Gram矩阵特征值分解(谱分解)，可以将$k(x_i,x_j)$表示成gram矩阵特征值与特征向量分量组合的形式：
$$Q^{T}KQ=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)=\Lambda$$

$$K=Q\Lambda Q^T$$

$Q$为特征向量矩阵，$v_i$为n维向量，其第二个下标表示该向量分量：
$$Q=[v_1,v_2,...,v_n]$$

$$K=Q\Lambda Q^T=[{\lambda }_1{v}_1,{\lambda }_2{v}_2,...,{\lambda }_n{v}_n][v_1,v_2,...,v_n{]}^T$$
$$=\left[\begin{array}{ccccc}{\lambda }_1{v}_{11}& {\lambda }_2{v}_{21}& ...& {\lambda }_n{v}_{n1}& \\ {\lambda }_1{v}_{12}& {\lambda }_2{v}_{22}& ...& {\lambda }_n{v}_{n2}& \\ ...& ...& ...& ...& \\ {\lambda }_1{v}_{1n}& {\lambda }_2{v}_{2n}& ...& {\lambda }_n{v}_{nn}& \end{array}\right]\left[\begin{array}{ccccc}{v}_{11}& v_{12}& ...& v_{1n}& \\ v_{21}& v_{22}& ...& v_{2n}& \\ ...& ...& ...& ...& \\ v_{n1}& v_{n2}& ...& v_{nn}& \end{array}\right]$$

$$k(x_i,x_j)=\sum _{k=1}^n{\lambda }_k{v}_{ki}{v}_{kj}$$

注意：$v_{ki}$第一个下标表示：这是第$k$个特征向量，第二个下标表示：这是第$k$个特征向量的第$i$个分量。
当特征$n\to \infty$时，离散-》连续。$v_{ki}$可以看做第k个特征函数的第i个函数值，即${\psi }_k(x_i)$。此时，核函数可以写为：
$$k(x,x^{\prime })=\sum _j{\lambda }_j{\psi }_j(x){\psi }_j(x^{\prime })$$

---

用到的工具：

Mercer定理的一点证明： https://blog.csdn.net/sinat_22510827/article/details/79116612
矩阵特征值分解：https://blog.csdn.net/weixin_42018112/article/details/80250206：
矩阵A的特征向量特征值:$Ax=\lambda x$,矩阵A作用于(每一矩阵都对应一个变换)特征向量$x$，其效果等价与对向量$x$做尺度变换。（所以$x$真是一个很神奇的方向呢！！）

每一个矩阵A都相似于一个上三角矩阵：通初等变换可以将一个矩阵转换成一个上三角阵，将这些初等变换乘在一起，就构成了一个变换矩阵。

每次的初等变换选择 特征值变换，且，矩阵A是一个对称矩阵，那矩阵A可以进行特征值分解:
$$Q^{T}AQ=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$$

$Q$的列向量组成$A$的一个完备标准正交向量系。

---

---

3.核函数与希尔伯特空间

原来线性映射$\varphi (x)$ ，它将原始特征空间中的数据点映射到另一个高维空间中。其实这个高维空间在这里有一个华丽的名字——“再生核希尔伯特空间 (Reproducing Kernel Hilbert Space, RKHS)”[1]

所以：每一个核函数都对应着自己的一个再生核希尔伯特空间。

下面先介绍希尔波特空间，再介绍再生核希尔伯特空间。

3.1希尔伯特空间-Hilbert空间

从 泛函 说 希尔伯特空间[2]
希尔伯特空间 是 希尔伯特 在解决 无穷维线性方程组 时提出的概念，原来的线性代数理论都是基于有限维欧几里得空间的，无法适用，这迫使希尔伯特去思考无穷维欧几里得空间，也就是无穷序列空间的性质。

$l^2$空间：所有2范数$\sum x_n^2$（n为向量的下标）为有限的 无穷维向量$x$ 组成的空间。这是最早的Hilbert space。

$L^2$空间：单位闭区间上所有平方可积的实函数（就是说 f（x）的平方在[0，1]上的积分存在且有限）按照函数的加法和数乘成为一个线性空间。
$$\int f^2(x)dx$$

$L^2$希尔伯特空间是一个函数空间，其中定义内积如下：
$$<f，g>=\int |f\ast g|dx$$

范数:
$$\Vert f\Vert =\sqrt{<f，f>}=\sqrt{\int f^2(x)dx}$$

泛函：就是自变量为函数，因变量为实数的映射。一个简单的例子，某一个泛函的定义域在$L^2$Hilbert space上。

---

从 定义 说 希尔伯特空间
向量空间：空间中的点具有加法和数乘的操作
内积空间：向量空间上定义一个内积操作
赋范空间：根据内积可以定义一个范数
度量空间：范数可以用于定义一个度量
Hilbert Space：如果一个空间在其定义的度量下是完备的，那么这个空间叫做 Hilbert Space。[1]
完备性：一个空间上的任意柯西序列必收敛于空间中的某一点——相当于闭集的定义

对于常见的${\mathbb{R}}^n$,满足内积运算，能够推导出$l_2$范数，且是完备的，所以是希尔伯特空间。欧几里德空间 是 希尔伯特空间的一个重要特例，一个抽象的希尔伯特空间中的元素往往被称为向量。在实际应用中，它可能代表了一列复数或是一个函数。

---

核函数的再生性
对于任意的$f\in \mathcal{H}$，都有：
$$f(x)=<f(.),k(.,x)>$$

k(.,.)被称为希尔伯特空间$\mathcal{H}$的再生核。
由核的再生性还可以推到出：
$$k(x,x^{\prime })=<k(x,.),k(.,x^{\prime })>$$

---

再生核希尔伯特空间： 由具有再生性的核 张成的希尔伯特空间
定义：对于一个紧致的$\mathcal{X}\in {\mathbb{R}}^d$；和希尔伯特空间$\mathcal{H}$，其中元素为$f:\mathcal{X}\to \mathbb{R}$，如果存在$k:\mathcal{X}\to \mathbb{R}$，满足如下条件，就叫$\mathcal{H}$为再生核希尔伯特空间。
1.$k$有再生性：$f(x)=<f(.),k(.,x)>$
2.$k$张成$\mathcal{H}$： H = s p a n { k ( . , x ) : x ∈ X } ‾ \mathcal{H}=\overline{span\{k(.,x):x\in \mathcal{X}\}} H=span{k(.,x):x∈X}​

所以说具有再生性的核都可以张成自己的一个再生核希尔伯特空间。

参考资料：
[1]https://blog.csdn.net/hggjgff/article/details/83828394
[2]再生核希尔伯特空间：https://wenku.baidu.com/view/09df5b7a11a6f524ccbff121dd36a32d7375c7c6.html
[3]希尔伯特空间，数学空间的神秘之地 ：http://www.sohu.com/a/315344647_348129介绍了一个大概，从定义出发去验证希尔伯特空间

---