【机器学习基础】线性基函数模型

本系列为《模式识别与机器学习》的读书笔记。

一，线性基函数模型

1，线性基函数

回归问题的⽬标是在给定 $D$ 维输⼊（input） 变量 $\mathbf{x}$ 的情况下， 预测⼀个或者多个连续⽬标（target）变量 $t$ 的值。

通过将⼀组输⼊变量的⾮线性函数进⾏线性组合， 我们可以获得⼀类更加有⽤的函数， 被称为基函数（basis function）。

回归问题的最简单模型是输⼊变量的线性组合：
$$y(\mathbf{x},\mathbf{w})=w_0+w_1{x}_1+\cdots +w_D{x}_D\text{\hspace{1em}(3.1)}$$
其中，$\mathbf{x}=(x_1,x_2,\dots ,x_D{)}^T$ ，通常称为线性回归（linear regression），这个模型的关键性质在于它是参数 $w_0,\dots ,w_D$ 的⼀个线性函数。 但是， 它也是输⼊变量 $x_i$ 的⼀个线性函数， 这给模型带来了极⼤的局限性。因此扩展模型的类别：将输⼊变量的固定的⾮线性函数进⾏线性组合：
$$y(\mathbf{x},\mathbf{w})=w_0+\sum _{j=1}^{M-1}{w}_j{\varphi }_j(\mathbf{x})\text{\hspace{1em}(3.2)}$$
其中， ${\varphi }_j(\mathbf{x})$ 被称为基函数（basis function），参 数 $w_0$ 使得数据中可以存在任意固定的偏 置，这个值通常被称为偏置参数（bias parameter）。此模型称为线性模型。

通常，定义⼀个额外的虚“基函数” ${\varphi }_0(\mathbf{x})=1$ 是很⽅便的，这时，
$$y(\mathbf{x},\mathbf{w})=\sum _{j=0}^{M-1}{w}_j{\varphi }_j(\mathbf{x})={\mathbf{w}}^T\mathbf{\varphi }(\mathbf{x})\text{\hspace{1em}(3.3)}$$
其中，$\mathbf{w}=(w_0,x_1,\dots ,w_{M-1}{)}^T$ ，$\mathbf{\varphi }=({\varphi }_0,{\varphi }_2,\dots ,{\varphi }_{M-1}{)}^T$ 。

在许多模式识别的实际应⽤中， 我们会对 原始的数据变量进⾏某种固定形式的预处理或者特征抽取。如果原始变量由向量 $\mathbf{x}$ 组成，那么特征可以⽤基函数 { ϕ j ( x ) } \{\phi_{j}(\boldsymbol{x})\} { ϕj​(x)} 来表⽰。

多项式基函数的⼀个局限性在于它们是输⼊变量的全局函数，因此对于输⼊空间⼀个区域的改变将会影响所有其他的区域。这个问题的解决方案：把输⼊空间切分成若⼲个区域，然后对于每个区域⽤不同的多项式函数拟合，这样的函数叫做样条函数（spline function）（Hastie et al., 2001）。

⾼斯基函数：
$${\varphi }_j(x)=\exp \left\{-\frac{(x-{\mu }_j{)}^2}{2s^2}\right\}\text{\hspace{1em}(3.4)}$$
其中，${\mu }_j$ 控制了基函数在输⼊空间中的位置，参数 $s$ 控制了基函数的空间⼤⼩。

sigmoid基函数：
$${\varphi }_j(x)=\sigma \left(\frac{x-{\mu }_j}{s}\right)\text{\hspace{1em}(3.5)}$$
其中 $\sigma (a)$ 是 logistic sigmoid函数，定义为：
$${\sigma }_a=\frac{1}{1+\exp (-a)}\text{\hspace{1em}(3.6)}$$
除此之外，基函数还可以选择傅⾥叶基函数，tanh函数等等。其中，tanh函数 和 logistic sigmoid函数 的关系如下：$\tanh (a)=2\sigma (2a)-1$。

如图3.1～3.3，分别为是多项式基函数，⾼斯基函数，sigmoid基函数。

2，最⼤似然与最⼩平⽅

假设⽬标变量 $t$ 由确定的函数 $y(\mathbf{x},\mathbf{w})$ 给出，这个函数被附加了⾼斯噪声，即

$$t=y(\mathbf{x},\mathbf{w})+ϵ$$
其中，$ϵ$ 是⼀个零均值的⾼斯随机变量，精度（⽅差的倒数）为 $\beta$，则有：
$$p(t|\mathbf{x},\mathbf{w},\beta )=\mathcal{N}(t|y(\mathbf{x},\mathbf{w}),{\beta }^{-1})\text{\hspace{1em}(3.7)}$$
均值为：
$$\mathbb{E}[t|\mathbf{x}]=\int tp(t|\mathbf{x})\mathrm{d}t=y(\mathbf{x},\mathbf{w})$$
考虑⼀个输⼊数据集 X = { x 1 , … , x N } \mathbf{X}=\{\boldsymbol{x}_1,\dots, \boldsymbol{x}_N\} X={ x1​,…,xN​}， 对应的⽬标值为 $t_1,\dots ,t_N$ 。 我们把⽬标向量 { t n } \{t_n\} { tn​} 组成⼀个列向量， 记作 $\mathbf{t}$。 假设这些数据点是独⽴地从分布公式(3.7)中抽取的，那么可以得到下⾯的似然函数的表达式， 它是可调节参数 $\mathbf{w}$ 和 $\beta$ 的函数，形式为：
$$p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta )=\prod _{n=1}^N\mathcal{N}(t_n|{\mathbf{w}}^T\mathbf{\varphi }({\mathbf{x}}_n),{\beta }^{-1})\text{\hspace{1em}(3.8)}$$
取似然函数的对数，使⽤⼀元⾼斯分布的标准形式，可得：
ln ⁡ p ( t ∣ w , β ) = ∑ n = 1 N ln ⁡ N ( t n ∣ w T ϕ ( x n ) , β − 1