kernal、希尔伯特空间、再生希尔伯特空间

一、kernal函数：
在SVM线性不可分的情况下，通过高维映射可以将线性不可分问题转化为线性可分问题 ，可以映射到二维、三维一直到n维，但是在高维映射的时候会发生维数灾难，即随着维数的增长，计算量会呈现指数倍增长。
当我们仔细观察SVM损失函数对偶问题求解时候，会出现xi点乘xj（内积的形式）,kernal函数就是将原来的（x,y）->（g(x),g(y)）,对偶问题的求解在思想上是高维映射，在形式上只是增加了一个函数。
二、希尔伯特空间：
数学里有好多好多空间，把我也给弄特一脸懵逼，后边看了好多博客总结了一下。
1、线性空间（向量空间）：找到一组基地，可以线性组合构造出任何空间
2、度量空间：定义了距离的空间
3、范数空间:可以看做从零点到x的距离，不过距离的求解有各种方式
http://blog.csdn.net/qq_32679835/article/details/78586290这是我对于各种范数的总结
4、内积空间：定义了内积的线性空间
5、欧式空间： 定义了内积的有限维实线性空间
6、巴拿赫空间：定义了完备的赋范线性空间
希尔伯特空间：完备的内积空间，其中完备性的意思就是空间中的极限运算不能跑出该空间，引入了无穷维度。
注意：范数可以导出内积，但是内积不可以导出范数
如有理数空间中的√2 的小数表示，其极限随着小数位数的增加收敛到√2，但√2 属于无理数，并不在有理数空间，故不满足完备性。一个通俗的理解是把学校理解为一个空间，你从学校内的宿舍中开始一直往外走，当走不动停下来时（极限收敛），发现已经走出学校了（超出空间），不在学校范围内了（不完备了）。希尔伯特就相当于地球，无论你怎么走，都还在地球内（飞出太空除外）。
三、再生希尔伯特空间
RKSH是由核函数构成的空间，这个空间比较个性，在前边引入kernal函数的时候，其实对于kenal函数的求解没有那么容易，我们得让kernal函数满足半正定性（不用在乎太多，就当做验证很难），因此我们经常会用到一些其他人已经验证的kernal函数http://blog.csdn.net/chlele0105/article/details/17068949。
而RKSH是反其道而行，是现有内积之后才有kernal函数。具有再生性，原来内积需要计算无穷维的积分，现在只需要求解kernal函数，变成人话就是将一个点映射到无穷维的特征空间，先将这个点变为一个函数，这个函数可以看做无穷维的特征空间。