再生核希尔伯特空间和核方法

前言

之前遇到过很多次再生核希尔伯特空间，但一直没有搞懂，最近读论文又遇到了，就花了些时间进行了了解，并在此基础上对核方法加深了理解。

1 再生核希尔伯特空间的理解

本节参照https://zhuanlan.zhihu.com/p/29527729。

1.1 函数与无穷向量

本人数学基础比较差，该文章中的第一句“每一个函数f都可以看做一个无限维的向量”就让我想了一些时间，最后大概是理解了，举个例子：
定义$f=e^x$，对f进行泰勒展开可得：
$f(x)=1+x+\frac{1}{2!}{x}^2+\frac{1}{3!}{x}^3+...$
令向量$\alpha =(1,1,\frac{1}{2!},\frac{1}{3!},...{)}^T，\beta =(1,x,x^2,x^3...{)}^T$，那么$f(x)={\alpha }^T\beta$，此时我们可以把f(x)看做是无穷维向量$\alpha$，每输入一个x，可以获取对应的向量$\beta$，然后做内积，就得到了f(x)的值；这样我们就将函数和一个无穷维向量联系起来了。
但对于一个n阶多项式函数，如$f(x)=a_n{x}^n+a_{n-1}{x}^{n-1}+...+a_1{x}^1+a_0$，按上面的方法似乎只能对应一个n+1维向量：$(a_0,a_1,...,a_{n-1},a_n{)}^T$。
我们换一种方法，对于一个在连续区间[a,b]的连续函数f(x)，把区间中所有数看做一个向量，即$\alpha =(a,...,b{)}^T$，显然$\alpha$是无穷维的向量，那么我们把这个区间的所有数在f(x)作用下的值当成一个向量$\beta =(f(a),...,f(b){)}^T$，那么$\beta$也是无穷维的，我们可以把$\beta$看做是f(x)；此时对于任意一个$c\in [a,b]$（为了下面方便表述，我们令a<c<b），我们按上面的思路将c表述为向量$\alpha =(0,...,1,...,0{)}^{}$