机器学习里面的基函数_机器学习中的数学基函数与函数空间

机器学习中的数学基函数与函数空间

【机器学习中的数学】基函数与函数空间

引言

在学习线性回归模型的时候就会遇到基函数，可能我们会遇到多项式基函数、高斯基函数、sigmoid基函数，当然在高等数学和信号系统中还经常会碰到傅里叶基。有时候，不禁要问，这些基函数为什么这么设计？这些基函数的作用是什么？

后来发现基函数是核方法和字典训练的基础，于是乎，我逐渐有了一些例如特征转换和映射、字典元素的概念。不过还是对基函数与函数空间的关系、基函数的深层认识模棱两可。我希望能通过这篇文章，来探究这些东西。

基函数

在数学中，基函数是函数空间一组特殊的基的元素。对于函数空间中的连续函数都可以表示成一系列基函数的线性组合，就像是在向量空间中每个向量都可以表示成基向量的线性组合一样。

在数值分析和近似理论中，基函数也称为混合函数(blending function)，因为其在插值(interpolation)的应用

。

举例：

多项式基：{1，t, t^2}是实系数二次多项式集合的基，每一个形如a+bt+ct^2的二次多项式都可以写成由基函数1、t、t^2组成的线性组合。另外，{(t-1)(t-2)/2, -t(t-2), t(t-1)/2}是二次多项式的另一组基，称为拉格朗日基(Lagrange basis)。

傅里叶基：余弦函数构成了平方可积函数的(正交)Schauder基。

说说径向基函数

径向基函数有个类似高斯函数的形状，我们可以看到下面的图像，不同的系数，有不同的函数图像：

下面的三组图像是三个径向基函数在不同的权重的线性组合下的曲线形态：

我们知道，线性回归模型可以看做是目标函数加入了高斯噪声模型，其概率模型形式为：

p(t|X,\delta^2)=\frac{1}{(2\pi)^{N/2}|K|^{1/2}}exp(-\frac{1}{2}t^TK^{-1}t)

对于多维高斯模型的协方差矩阵，可以看做是数据构成的矩阵再加入一个噪声的方阵，当使用基函数的时候，协方差矩阵就变成了核矩阵再加上噪声的方阵。

K=\alpha XX^T+\delta^2I \Rightarrow K=\alpha \Phi \Phi^T + \delta^2I

下面是用多项式基函数和径向基函数分别构成的特征变换矩阵：