【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】线性回归

回归问题属于机器学习中较为简单的一类问题。对于回归问题，训练集要包含输入和输出${x^{(n)},y^{(n)}}_{n=1}^N$。其中输入$x^{(n)}$一般为D维向量，记作$x^{(n)}\in {\mathbb{R}}^D$；输出$y^{(n)}$ 为连续的标量，记作$y^{(n)}\in \mathbb{R}$。回归问题即求解$x,y$之间的映射关系，记为$y=f(x,\theta )$

模型

线性回归问题是回归问题中比较简单的一种，其模型为：
$$f(x;w,b)=w^T+b$$
其中$w$一般叫做权重（weight），$b$叫做偏置（bias）。事实上，可以通过利用增广权重向量和增广特征向量来消除偏置。
增广权重向量是指在权重$w$的基础上增加一个维度来表示偏置：
$$\hat{w}=w\oplus b\triangleq \left[\begin{array}{c}\\ w\\ \\ b\end{array}\right]=\left[\begin{array}{c}{w}_1\\ ⋮\\ w_D\\ b\end{array}\right]$$
增广特征向量是指在特征向量$x$上添加一个值为1的维度，用来与增广权重向量在维度上保持相同以进行运算：
$$\hat{x}=x\oplus 1\triangleq \left[\begin{array}{c}{x}_1\\ ⋮\\ x_D\\ 1\end{array}\right]$$
经过变换后原式变化如下
$$\begin{array}{rl}f(x;w,b)& =w^{T}x+b\\ & =\left[\begin{array}{c}{w}_1\cdots w_D\end{array}\right]\cdot \left[\begin{array}{c}{x}_1\\ ⋮\\ x_D\end{array}\right]+b\\ & =w_1{x}_1+\cdots +w_D{x}_D+b\\ & =\left[\begin{array}{c}{w}_1\cdots w_{D}b\end{array}\right]\cdot \left[\begin{array}{c}{x}_1\\ ⋮\\ x_2\\ 1\end{array}\right]\\ & ={\hat{w}}^T\cdot \hat{x}=f(\hat{x},\hat{w})\end{array}$$
一般为了方便表示，都是用这种增广的权重和特征向量来表示

经验风险最小化（ERM）

线性回归问题一般使用平方损失函数$\frac{1}{2}(y^{(n)}-w^T{x}^{(n)}{)}^2$来计算，因此，可以将线性回归问题的经验风险定义为：
$$\begin{array}{rl}\mathcal{R}(w)& =\sum _{n=1}^N\mathcal{L}(y^{(n)},f(x^{(n)};w))\\ & =\frac{1}{2}\sum _{n=1}^N(y^{(n)}-w^T{x}^{(n)}{)}^2\end{array}$$
上式中忽略了常量$\frac{1}{N}$，这是由于在参数最小化过程中，常量的取值不同不会影响最小化的过程。以梯度下降方法为例，迭代过程如下：
$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t-\alpha \frac{\partial {\mathcal{R}}_D(\theta )}{\partial \theta }\\ & ={\theta }_t-\alpha \frac{1}{N}\sum _{n=1}^N\frac{\partial \mathcal{L}(y^{(n)},f(x^{(n)};\theta ))}{\partial \theta }\end{array}$$
可见，常量$\frac{1}{N}$的取值并不会直接影响整个函数，通过调整学习率$\alpha$的值可以就可以模拟常量的影响，可见，这种做法对于每次迭代的过程没有影响，但可能会影响迭代的次数，同时这种影响也可以通过调整学习率$\alpha$来屏蔽。
声明一个变量$X$，对上述的经验风险公式还进一步简化：
$$X=\left[\begin{array}{c}{x}^{(1)}{x}^{(2)}\cdots x^{(n)}\end{array}\right]=\left[\begin{array}{c}{x}_1^{(1)}{x}_1^{(2)}\cdots x_1^{(n)}\\ x_2^{(1)}{x}_2^{(2)}\cdots x_2^{(n)}\\ ⋮\\ 11\cdots 1\end{array}\right]$$
$$\begin{array}{rl}\mathcal{R}(w)& =\frac{1}{2}\sum _{n=1}^N(\left[\begin{array}{c}{y}^{(1)}\\ ⋮\\ y^{(n)}\end{array}\right]-w^T\left[\begin{array}{c}{x}_1^{(n)}\\ ⋮\\ 1\end{array}\right]{)}^2\\ & =\frac{1}{2}\parallel \left[\begin{array}{c}{y}^{(1)}\\ ⋮\\ y^{(n)}\end{array}\right]-(w^T\left[\begin{array}{c}{x}_1^{(1)}{x}_1^{(2)}\cdots x_1^{(n)}\\ x_2^{(1)}{x}_2^{(2)}\cdots x_2^{(n)}\\ ⋮\\ 11\cdots 1\end{array}\right]{)}^T{\parallel }^2\\ & =\frac{1}{2}\parallel \left[\begin{array}{c}{y}^{(1)}\\ ⋮\\ y^{(n)}\end{array}\right]-\left[\begin{array}{c}{x}^{(1)}\\ ⋮\\ x^{(n)}\end{array}\right]w{\parallel }^2\\ & =\frac{1}{2}\parallel y-X^{T}w{\parallel }^2\end{array}$$
为了使经验风险最小化，可以对经验风险求偏导数令其为0求得极值，这种方法叫做最小二乘法，也就是：
$$\frac{\partial }{\partial w}\mathcal{R}(w)=0$$

$I$表示单位矩阵
补充公式：
$$\frac{\partial X^{T}X}{X}=2X$$

ERM过程：
$$\begin{array}{r}\frac{\partial \frac{1}{2}\parallel y-X^{T}w{\parallel }^2}{\partial w}=-\frac{1}{2}2X(y-X^{T}w)=-X(y-X^{T}w)\end{array}$$
$$\begin{array}{rl}X(y-X^{T}w)& =0\\ Xy-X{X}^{T}w& =0\\ X{X}^{T}w& =Xy\\ w& =(X{X}^T{)}^{-1}Xy\\ w& =(X^T{)}^{-1}{X}^{-1}Xy\\ w& =(X^T{)}^{-1}y\end{array}$$
从上述过程可以看出，要想使用最小二乘法进行来使经验风险最小化，必须要满足$X{X}^T$可逆。假设$X$为$D\times N$矩阵，那么$X{X}^T$即为$D\times D$矩阵，若要$X{X}^T$可逆，必须满足$r(X{X}^T)=r(X)\ge D$，显然，当$D>N$时，$r(X)\le N<D$，因此不成立。
当最小二乘法无法使用时，可以考虑用随机梯度下降、降维（降低维度，使$m\ge n$）

结构风险最小化（Structure Risk Minimization，SRM）

由于实际当$D>N$时，在一个数据集$X$当中存在冗余性，也就是说实际上可以用某些特征的组合去预测其他特征，也就是矩阵中的一个维度可以被线性表出，矩阵不满秩，这种情况叫做特征之间存在共线性。
下面假设$x_i^{(n)}=-x_j^{(n)}$，那么他的权重组合$w_i{x}_i^{(n)}+w_j{x}_j^{(i)}$对于$w$求解会有很多的结果。假设此时$w$的取值很大，而当样本特征$x$发生微小变化后，会导致两者的权重组合变化非常大，从而导致预测与实际偏差较大。
上面问题说明当特征之间存在共线性问题时，若$w$取值过大，当$x$发生微小扰动时会导致整体值变得非常大，因此我们希望能对$w$的取值进行约束，这样即使存在共线问题也不会导致过大的偏差，为此需要引入结构风险来解决这个问题
$$\mathcal{R}(w)=\frac{1}{2}\parallel y-X^{T}w{\parallel }^2+\frac{1}{2}\lambda \parallel w{\parallel }^2$$
也就是在经验风险的基础上添加正则化项，正则化项就是指上式中的$\frac{1}{2}\lambda \parallel w{\parallel }^2$部分，其中$\lambda$称为正则化系数，是一个需要人工设定的超参数，$\lambda$越大对$w$的限制效果越好。可以看到，在引入正则项之后，为了使结构风险尽可能的小，$w$的取值同样也要尽可能的小才能满足，这就达到了限制$w$的作用。
在引入结构风险后，可以进一步对其使用最小二乘法进行结构风险最小化：
$$\begin{array}{rl}\frac{\partial }{\partial w}R(w)& =\frac{1}{2}\frac{\partial }{\partial w}(\parallel y-X^{T}w{\parallel }^2+\lambda \parallel w{\parallel }^2)\\ & =\frac{1}{2}[-2X(y-X^{T}w)+2\lambda w]\\ & =-Xy+X{X}^{T}w+\lambda w\\ & =-Xy+(X{X}^T+\lambda I)w\end{array}$$
$$\begin{array}{rl}-Xy+(X{X}^T+\lambda I)w& =0\\ (X{X}^T+\lambda I)w& =Xy\\ w& =(X{X}^T+\lambda I{)}^{-1}Xy\end{array}$$
由于$\lambda I$是一个单位矩阵，因此$X{X}^T+\lambda I$始终可逆，这样就解决了特征之间的共线性问题，也就i不存在上面所说的$w$过大引起的扰动。这种在矩阵对角线上添加元素的方法来使矩阵可逆的方法叫做岭回归（Ridge Regression）