pcl把3dmesh 映射成2维_第七章 支持向量机（第3节 非线性支持向量机与核函数 第2小节 正定核）...

2.正定核

听名字先不要着急着慌哈~倒杯水调整一个舒适的坐姿慢慢来理解~

上一篇我们的内容是：采用经验方法直接给定一个核函数，这样就避免了通过寻找映射函数来计算内积从而构造出核函数。因为映射函数很难去寻找。

但是是不是随便给一个函数，我们都能称之为核函数呢？肯定不是，所以我们需要对我们选择的核函数进行一些判定——即是否满足核函数的充要条件。（也就是说，我现在好到了一个函数，如果这个函数满足该充要条件，我们就说它是核函数，就可以按照上一篇的内容直接得到非线性SVM模型。否则，我们就需要重新去找了）

而且（重点）通常所说的核函数就是——正定核函数（positive definite kernel function）。（即我们给定的函数必须满足正定核的充要条件）

本篇就是要来介绍一下正定核的充要条件（以后在选择核函数的时候，判断一个函数是否可以被用来作为核函数的方法，就是该函数是否满足这个充要条件）

话不多说，直接给出正定核的充要条件定理：

设

是

对称函数，则

为正定核函数的

充要条件是对任意

，

对应的

Gram矩阵：（感知机中也有这个矩阵的介绍）

是半正定矩阵。

（上面这个定理，可能一下子还看不明白，不过没关系~咱们只要清楚一件事：如果选择的函数K满足上面这个条件，那么我们就说这个函数是正定核函数，即可以被用在非线性SVM模型中。）

（关于这个定理的证明，说实话，我还是理解的不够深刻~我仍然把整个证明过程列出来，能看懂的就看看把~~）

在证明这个定理之前，我们先来学习一下有关的预备知识。
假设

是定义在

上的

对称函数，并且对任意的

，

关于

的Gram矩阵是

半正定的。则我们就可以依据函数

，构成一个

希尔伯特空间（Hilbert space）， 构成这个希尔伯特空间的步骤有三步：首先定义映射

并构成向量空间

；然后在

上定义内积构成内积空间；最后将

完备化构成希尔伯特空间。这三步书中都有详细的介绍~我还是再写一遍吧~加深一下印象，说不定理解地也会更加深刻~

第一步：定义映射，构成向量空间

先定义映射：

根据这一映射，对任意

，定义线性组合：

考虑以上面线性组合为元素的集合

。由于集合

对加法和数乘运算是封闭的，所以

构成一个向量空间。

第二步：在

上定义内积，使其成为内积空间

首先我们来在

上定义

一个运算：对任意

，有

；

定义运算

：

。此时我们来证明这个运算“

”是空间

的

内积。为此我们需要证明以下 四个条件：

（1）

（2）

（3）

（4）

由于

是

对称函数，故（1）~（3）式容易证得。现主要证明（4）式，由前面定义的那个运算“

”可得：

对此式由Gram矩阵的半正定性知右端非负，即

。

再来证明“

”充分性显然，不用多说。关键证明

必要性，要证明必要性，首先 证明不等式：

。

设

则

，于是有：

不等式左端是

的二次三项式，非负，其

判别式小于等于0，即

于是不等式

得证。

接着再证“

”。事实上，若

，则按运算

的定义式，对任意的

，有

于是，

由刚才证明的那个不等式，有

进一步推出：

此式即可表明，当

时，对任意的

都有

。

至此就证明了之前假设的那个运算

就是向量空间

的

内积。这里，赋予了内积的向量空间为 内积空间。即

是一个内积空间。

既然运算”

“是内积运算，那我就还是用内积符号”

“表示，即若

则

第三步：将内积空间

完备化为希尔伯特空间

现在将内积空间

完备化。由上一步定义的内积可以得到

范数

，因此，

是一个

赋范向量空间。根据 泛函分析理论（看得懂就看看吧~看不懂的比如我，就知道有这回事就行了~），对于不完备的赋范向量空间

，一定可以使之完备化，得到

完备的赋范向量空间

。一个内积空间，当作为一个赋范向量空间是完备的时候，就是

希尔伯特空间。这样就得到了一个希尔伯特空间

。

这一希尔伯特空间

称为

再生核希尔伯特空间（reproducing kernel Hilbert space，RKHS）。为什么这样叫呢？这是由于 核K具有再生性，即满足：

及

称为再生核。

上面就是就是证明正定核充要条件定理的预备知识。下面就来证明它：

证明：必要性。由于

是

上的正定核，所以存在从

到希尔伯特空间

的映射

，使得：

于是，对任意

，构造

关于

的

Gram矩阵

对任意

，有

表明

关于

的Gram矩阵是

半正定的。

充分性。已知对称函数

对任意

，

关于

的

Gram矩阵是 半正定的。根据前面的结果，对给定的

，可以构造从

到某个希尔伯特空间

的映射：

由前面第三步内容知，

并且

则，

表明

是

上的

核函数。

上面就是该定理的证明了。该定理给出了正定核的充要条件，因此可以作为正定核（即核函数）的另一个定义。

正定核的等价定义：设

，

是定义在

上的

对称函数，如果对任意

，

对应的Gram矩阵

是半正定矩阵，则称

是

正定核。（即可以用来作核函数求解非线性SVM模型）

【重要】这一定义在构造核函数时很有用。但对于一个凭经验选择的具体函数

来说，检验它是否为正定核函数

并不容易，因为对任意有限输入集

，要验证函数

对应的Gram矩阵

是否为半正定十分不容易。（这里就是说，前面啰嗦了一大堆，其实在实际应用中，正定核的充要条件定理并 没有什么太大的作用。它对于我们寻找映射函数来构造核函数来说，提供了检验的方法和理论的支撑，但是实际中，我们选择的具体函数并不容易用它来检验）

那实际问题中，我们怎么办呢？实际问题中我们往往应用已经经过检验的现成的核函数（这也太真实了~），就是说我们通过以往的经验，已经形成了一个“核函数库”了，等到遇到实际问题时，我们看看问题是什么样子的类型，然后凭经验从“核函数库”里拿出那个我们认为最合适的核函数出来，不知道这样理解对不对，总之太真实了~~

另外，这一小节的最后，书中还由一句话：“由Mercer定理可以得到Mercer核（Mercer Kernel），正定核比Mercer核更具一般性。”就没有别的解释了，百度了下：

Mercer 定理：任何半正定的函数都可以作为核函数。具体的内容需要自行去了解，我就不叙述了~

如上所述，实际应用中，核函数一般是凭经验选取的，那么接下来我们就来介绍实际中常用的核函数有哪些吧~~