一、kernal函数:
在SVM线性不可分的情况下,通过高维映射可以将线性不可分问题转化为线性可分问题 ,可以映射到二维、三维一直到n维,但是在高维映射的时候会发生维数灾难,即随着维数的增长,计算量会呈现指数倍增长。
当我们仔细观察SVM损失函数对偶问题求解时候,会出现xi点乘xj(内积的形式),kernal函数就是将原来的(x,y)->(g(x),g(y)),对偶问题的求解在思想上是高维映射,在形式上只是增加了一个函数。
二、希尔伯特空间:
数学里有好多好多空间,把我也给弄特一脸懵逼,后边看了好多博客总结了一下。
1、线性空间(向量空间):找到一组基地,可以线性组合构造出任何空间
2、度量空间:定义了距离的空间
3、范数空间:可以看做从零点到x的距离,不过距离的求解有各种方式
http://blog.csdn.net/qq_32679835/article/details/78586290这是我对于各种范数的总结
4、内积空间:定义了内积的线性空间
5、欧式空间: 定义了内积的有限维实线性空间
6、巴拿赫空间:定义了完备的赋范线性空间
希尔伯特空间:完备的内积空间,其中完备性的意思就是空间中的极限运算不能跑出该空间,引入了无穷维度。
注意:范数可以导出内积,但是内积不可以导出范数
如有理数空间中的√2 的小数表示,其极限随着小数位数的增加收敛到√2,但√2 属于无理数,并不在有理数空间,故不满足完备性。一个通俗的理解是把学校理解为一个空间,你从学校内的宿舍中开始一直往外走,当走不动停下来时(极限收敛),发现已经走出学校了(超出空间),不在学校范围内了(不完备了)。希尔伯特就相当于地球,无论你怎么走,都还在地球内(飞出太空除外)。
三、再生希尔伯特空间
RKSH是由核函数构成的空间,这个空间比较个性,在前边引入kernal函数的时候,其实对于kenal函数的求解没有那么容易,我们得让kernal函数满足半正定性(不用在乎太多,就当做验证很难),因此我们经常会用到一些其他人已经验证的kernal函数http://blog.csdn.net/chlele0105/article/details/17068949。
而RKSH是反其道而行,是现有内积之后才有kernal函数。具有再生性,原来内积需要计算无穷维的积分,现在只需要求解kernal函数,变成人话就是将一个点映射到无穷维的特征空间,先将这个点变为一个函数,这个函数可以看做无穷维的特征空间。
kernal、希尔伯特空间、再生希尔伯特空间
最新推荐文章于 2022-03-10 15:41:18 发布