机器学习--线性回归

基函数

在一些应用中，我们对原始数据变量进行一些预处理或特征提取。

比如原始变量为x，特征可以表示为基函数的形式{φ(x)}。

通过采用基函数，我们使得线性模型可以是输入变量的非线性函数。

• 将输⼊变量的固定的非线性函数进⾏线性组合

$$y(x,w)=w_0+\sum _{j=1}^{M-1}{w}_j{\varphi }_j(x)$$

${\varphi }_j(x)$被称为基函数

模型中的参数总数为M

$$y(\mathbf{x},\mathbf{w})=\sum _{j=0}^{M-1}{w}_j{\varphi }_j(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})$$

$\mathbf{w}=(w_0,\dots ,w_{M-1}{)}^T$ $\varphi =({\varphi }_0,\dots ,{\varphi }_{M-1}{)}^T$

基函数的选择

1. 多项式基函数

   多项式曲线拟合：

   $$y(x,\mathbf{w})=w_0+w_{1}x+w_2{x}^2+\dots +w_M{x}^M=\sum _{j=0}^M{w}_j{x}^j$$

   其中M是多项式的阶数（order)，$x^j$是$x$的$j$次幂

   多项式系数$w_0,...,w_M$整体记作向量$w$

   多项式函数$y(x,w)$是$x$的一个非线性函数

   是系数$w$的一个线性函数
   

2. “高斯”基函数

   “高斯”基函数：

   $${\varphi }_j(x)=\exp \left\{-\frac{(x-{\mu }_j{)}^2}{2s^2}\right\}$$

   参数${\mu }_j$控制了基函数在输入空间中的位置，参数$s$控制了基函数的空间大小
   

3. sigmoid基函数

   sigmoid:

   $$\begin{gathered} {\varphi }_j(x)=\mathbf{\sigma }\left(\frac{x-{\mu }_j}{s}\right) \\ where\sigma (a)=\frac{1}{1+\exp (-a)} \end{gathered}$$
   

$${\varphi }_j(x)=x^j$$

正则化最小平方

为误差函数添加正则化项的思想来控制过拟合

$$E_D(\mathbf{w})+\lambda E_W(\mathbf{w})$$

λ是正则化系数，控制数据相关的误差$\ast E_D(w)\ast$和正则化项$\ast E_W(w)\ast$的相对重要性

平方和误差函数：

E D ( w ) = 1 2 ∑ n = 1 N { t n − w T ϕ ( x n ) } 2 E_D(\boldsymbol{w})=\frac{1}{2}\sum_{n=1}^N\{t_n-\boldsymbol{w}^T\boldsymbol{\phi}(\boldsymbol{x}_n)\}^2 ED​(w)=21​n=1∑N​{tn​−wTϕ(xn​)}2

最简单正则化项——权值衰减：

$$E_W(\mathbf{w})=\frac{1}{2}{\mathbf{w}}^T\mathbf{w}$$

总误差函数

$${\mathbf{w}}^T\varphi ({\mathbf{x}}_n){\}}^2+\frac{\lambda }{2}{\mathbf{w}}^T\mathbf{w}$$

                                             岭回归、山脊回归（Ridge Regression）

权值衰减法：把参数的值向零的方向收缩

岭回归的闭式解

1 2 ∑ n = 1 N { t n − w T ϕ ( x n ) } 2 + λ 2 w T w \frac12\sum_{n=1}^N\{t_n-\boldsymbol{w}^T\phi(\boldsymbol{x}_n)\}^2+\frac\lambda2\boldsymbol{w}^T\boldsymbol{w} 21​n=1∑N​{tn​−wTϕ(xn​)}2+2λ​wTw

关于w的梯度等于零，解出w

. 正则化解 $w=(\lambda \mathbf{I}+{\mathbf{\Phi }}^T\mathbf{\Phi }{)}^{-1}{\mathbf{\Phi }}^T\mathbf{t}$

原来求逆的矩阵${\Phi }^{\mathrm{T}}\Phi$ 可能是奇异阵的，现在$\lambda \mathbf{I}+{\Phi }^{\mathrm{T}}\Phi$ 是满秩矩阵， 即使 ${\Phi }^{\mathrm{T}}\Phi$ 不是.

一般式正则化项

1 2 ∑ n = 1 N { t n − w T Φ ( x n ) } 2 + λ 2 ∑ j = 1 M ∣ w j ∣ q \frac12\sum_{n=1}^N\{t_n-\boldsymbol{w}^T\boldsymbol{\Phi}(\boldsymbol{x}_n)\}^2+\frac\lambda2\sum_{j=1}^M|w_j|^q 21​n=1∑N​{tn​−wTΦ(xn​)}2+2λ​j=1∑M​∣wj​∣q

q = 2对应于二次正则化项，被称为岭回归、山脊回归（Ridge Regression）

q = 1对应于一次正则化项，被称为套索**（Lasso）回归**

Lasso回归当 λ 足够大时，一些系数会趋近于0，对应的基函数项不发挥作用，从而得到一个稀疏的模型。****

最小化 1 2 ∑ n = 1 N { t n − w T Φ ( x n ) } 2 + λ 2 ∑ j = 1 M ∣ w j ∣ q \frac12\sum_{n=1}^N\{t_n-\boldsymbol{w}^T\boldsymbol{\Phi}(\boldsymbol{x}_n)\}^2+\frac\lambda2\sum_{j=1}^M|w_j|^q 21​∑n=1N​{tn​−wTΦ(xn​)}2+2λ​∑j=1M​∣wj​∣q

正则化方法

通过限制模型的复杂度，使得复杂的模型能够在有限⼤⼩的数据集上进⾏训练，⽽不会产⽣严重的过拟合。

确定最优的模型复杂度的问题：

从确定合适的基函数数量的问题转移到了确定正则化系数λ的合适值的问题 。