回归和分类的线性模型

由于后面会有专门的一章来讲贝叶斯理论下的模型推导，故本章的所有推导将仅限于最大似然理论。需要掌握的内容可以简单的罗列为：

• 回归：线性回归模型(损失函数及其求解)；
• 回归：判别式模型、概率生成式模型、概率判别式模型。

由于不涉及贝叶斯理论的模型都比较容易推导，故忽略了一些公式的具体推导。而对于一些重要的推导，我们用引用格式作为补充，如下所示：

written by XDU微积冯

如果不感兴趣或者已经了解的，可以自动忽略这些补充。

1. 回归的线性模型

重点掌握式(3)(6)(11)，以及最优解w的表达式(会推导最好)。

1.1 线性回归的输入和损失函数的定义

设单个数据表示为 x = { x 1 , x 2 , . . . , x D } ∈ R D \pmb{x}=\{x_1,x_2,...,x_D\}\in\R^D xxx={x1​,x2​,...,xD​}∈RD，数据集 X = { x 1 , . . . , x N } X=\{\pmb{x_1},...,\pmb{x_N} \} X={x1​​x1​​​x1​,...,xN​​xN​​​xN​}，目标变量 t = { t 1 , . . . , t N } \pmb{t}=\{t_1,...,t_N \} ttt={t1​,...,tN​}则用简单的线性回归，预测值可以表示为：
$$y(x\text{x}x,w\text{w}w)=w_0+w_1{x}_1+...+w_D{x}_D=w_0+\sum _{i=1}^D{w}_i{x}_i={w\text{w}w}^{T}x\text{x}x\text{\hspace{1em}(1)}$$
由于简单的变量线性组合会给模型造成局限性，我们引入基函数$\varphi (x\text{x}x)$，将多个基函数进行线性组合，有：
$$y(x\text{x}x,w\text{w}w)=w_0+\sum _{i=1}^{M-1}{w}_i{\varphi }_i(x\text{x}x)=\sum _{j=0}^{M-1}{w}_j{\varphi }_j(x\text{x}x)={w\text{w}w}^T\varphi \text{ϕ}\varphi (x\text{x}x)\text{\hspace{1em}(2)}$$
其中$\varphi \text{ϕ}\varphi \in {\mathbb{R}}^M$。式(2)将作为模型方程在下文中应用。

对于损失函数，我们采用平方和损失
$$E_D(w\text{w}w)=\frac{1}{2}\sum _{n=1}^N(t_n-y(w\text{w}w,{x\text{x}x}_n))=\frac{1}{2}\sum _{n=1}^N(t_n-{w\text{w}w}^T\varphi \text{ϕ}\varphi (x_n\text{xn}{x}_n){)}^2\text{\hspace{1em}(3)}$$

我们可以用最大似然的理论解释平方和损失，首先我们假设目标变量$t$由确定的函数$y(x\text{x}x,w\text{w}w)$给出，并添加一个均值为0，方差为${\beta }^{-1}$的高斯噪声$ϵ$，即
$$t=y(x\text{x}x,w\text{w}w)+ϵ=\mathcal{N}(t|y(x\text{x}x,w\text{w}w),{\beta }^{-1})\text{\hspace{1em}(4)}$$
我们构造似然函数：
ln ⁡ p ( t ∣ X , w , β ) = ln ⁡ ∏ n = 1 N N ( t n ∣ y ( x n , w ) , β − 1 ) = − β 2 ∑ n = 1 N { t n − w T ϕ ( x n ) } 2 − N 2 ln ⁡ ( 2 π ) + N 2 ln ⁡ β = − β E D ( w ) − N 2 ln ⁡ ( 2 π ) + N 2 ln ⁡ β (5) \begin{aligned} \ln p(\pmb{t}|X,\pmb{w},\beta) &= \ln \prod_{n=1}^N\mathcal{N}(t_n|y(\pmb{x}_n,\pmb{w}),\beta^{-1})\\ &= -\frac{\beta}{2}\sum_{n=1}^N \{t_n-\pmb{w}^T\pmb{\phi}(\pmb{x}_n) \}^2-\frac{N}{2}\ln(2\pi) + \frac{N}{2}\ln \beta\\ &= -\beta E_D(\pmb{w}) -\frac{N}{2}\ln(2\pi) + \frac{N}{2}\ln\beta \end{aligned}\tag{5} lnp(ttt∣X,www,β)​=lnn=1∏N​N(tn​∣y(xxxn​,www),β−1)=−2β​n=1∑N​{tn​−wwwTϕ​ϕ​​ϕ(xxxn​)}2−2N​ln(2π)+2N​lnβ=−βED​(www)−2N​ln(2π)+2N​lnβ​(5)
可以看到与参数$w$相关的项即为平方和损失表达式。

1.2 线性回归的最优参数

由于平方和损失代表了似然函数中与$w$有关的项，故我们直接对平方和损失求偏导：
∇ ln ⁡ p ( t ∣ X , w , β ) = − β ∑ n = 1 N { t n − w T ϕ ( x n ) } ϕ ( x n ) T (6) \nabla\ln p(\pmb{t}|X,\pmb{w},\beta) = -\beta\sum_{n=1}^N\{t_n-\pmb{w}^T\pmb{\phi}(\pmb{x}_n) \}\pmb{\phi}(\pmb{x}_n)^T \tag{6} ∇lnp(ttt∣X,www,β)=−βn=1∑N​{tn​−wwwTϕ​ϕ​​ϕ(xxxn​)}ϕ​ϕ​​ϕ(xxxn​)T(6)
我们令偏导为零，可以得到：
$$0=\sum _{n=1}^N{t}_n\varphi \text{ϕ}\varphi ({x\text{x}x}_n)-{w\text{w}w}^T\sum _{n=1}^N\varphi \text{ϕ}\varphi ({x\text{x}x}_n)\varphi \text{ϕ}\varphi ({x\text{x}x}_n{)}^T\text{\hspace{1em}(7)}$$
求解得：
$$\begin{gathered} {w\text{w}w}_{MAP}=({\Phi \text{Φ}\Phi }^T\Phi \text{Φ}\Phi {)}^{-1}\Phi \text{Φ}\Phi \text{t}\text{t}\text{t} \\ \text{if 不使用基函数}\varphi ,{w\text{w}w}_{MAP}=(X^{T}X{)}^{-1}Xt\text{t}t\text{\hspace{1em}(8)} \end{gathered}$$
这里$\Phi \text{Φ}\Phi \in {\mathbb{R}}^{N\times M}$，具体含义很好理解，这里不再赘述。

这里如果使用飞桨PPT中的平均平方和损失，是不能得出式(8)的结果的，由于存在m，这里提出更正。

在飞桨中，还使用梯度下降方法迭代得到最优的权重参数$w$，我们可以看一下它的表达式：
$$w_j=w_j-\alpha \frac{1}{N}\sum _{i=1}^M(y({x\text{x}x}_i,w\text{w}w)-t_i)\cdot x_i\text{\hspace{1em}(9)}$$
最终应该可以迭代出和式(8)相同的结果。

1.3 正则化损失函数

为控制最大似然方法带来的过拟合，我们在损失函数中加入正则化项，如
E ( w ) = ∑ n = 1 N { t n − w T ϕ ( x n ) } 2 + λ 2 w T w (10) E(\pmb{w}) = \sum_{n=1}^N \{t_n-\pmb{w}^T\pmb{\phi}(\pmb{x}_n) \}^2 + \frac{\lambda}{2}\pmb{w}^T\pmb{w}\tag{10} E(www)=n=1∑N​{tn​−wwwTϕ​ϕ​​ϕ(xxxn​)}2+2λ​wwwTwww(10)
类似于式(7)，我们对上式对$w$求偏导，有
$$-\sum _{n=1}^N{t}_n\varphi \text{ϕ}\varphi ({x\text{x}x}_n)+{w\text{w}w}^T\sum _{n=1}^N\varphi \text{ϕ}\varphi ({x\text{x}x}_n)\varphi \text{ϕ}\varphi ({x\text{x}x}_n{)}^T+\lambda w\text{w}w=0\text{\hspace{1em}(11)}$$
可得
$${w\text{w}w}_{MAP}=(\lambda I\text{I}I+{\Phi \text{Φ}\Phi }^T\Phi \text{Φ}\Phi {)}^{-1}\Phi \text{Φ}\Phi \text{t}\text{t}\text{t}\text{\hspace{1em}(12)}$$
相应地，梯度下降时也需要考虑正则化项
w j = w j o l d − α { 1 N ∑ i = 1 N ( y ( x i , w ) − t i ) ⋅ x i + λ N w j o l d } (13) w_j = w_j^{old} - \alpha\{\frac{1}{N}\sum_{i=1}^N(y(\pmb{x}_i,\pmb{w})-t_i)\cdot\pmb{x}_i+\frac{\lambda}{N}w_j^{old} \}\tag{13} wj​=wjold​−α{N1​i=1∑N​(y(xxxi​,www)−ti​)⋅xxxi​+Nλ​wjold​}(13)

2. 分类的线性模型

2.1 判别式模型(构造判别函数)

2.1.1 简单的线性函数

考虑二分类问题，设类别为$C_1,C_2$，我们使用最简单的线性函数：
$$y(x\text{x}x)={w\text{w}w}^{T}x\text{x}x+w_0\text{\hspace{1em}(14)}$$
我们设当$y(x\text{x}x)\ge 0$时$x\text{x}x$属于$C_1$，反之属于$C_2$。因此决策边界由$y(x\text{x}x)=0$确定，其中$w\text{w}w$确定了决策面的方向。

• 原点到决策面的距离可以由下图中的公式计算：

我们考虑任何一点$x\text{x}x$和它在决策面上的投影${x\text{x}x}_{\perp }$，有
$$x\text{x}x={x\text{x}x}_{\perp }+r\frac{w\text{w}w}{\Vert w\text{w}w\Vert }\text{\hspace{1em}(15)}$$
左右同乘${w\text{w}w}^T$，再加上$w_0$，可以得到点到直线距离公式：
$$\begin{gathered} y(x\text{x}x)=r\Vert w\text{w}w\Vert \\ r=\frac{y(x\text{x}x)}{\Vert w\text{w}w\Vert }\text{\hspace{1em}(16)} \end{gathered}$$

现在我们再考虑多分类问题。在多分类问题中判别函数的设计可以是"一对其他"(即分类结果是属于该类或不属于该类)、“一对一”(即每次取两类，分类结果是两类中的一个)，这样的两种设计会造成有空间无法判断类别的情况。于是我们采用K类判别函数，避免上述情况发生：
$$y_k(x\text{x}x)={w\text{w}w}_k^{T}x\text{x}x+w_{k0}\text{\hspace{1em}(17)}$$
判别条件为
$$\text{if}{y}_k(x\text{x}x)>y_i(x\text{x}x),\forall i\ne k,\text{then }x\text{x}x\in C_k\text{\hspace{1em}(18)}$$
任意两类的决策面为
$$({w\text{w}w}_k-{w\text{w}w}_j{)}^{T}x\text{x}x+(w_{k0}-w_{j0})=0\text{\hspace{1em}(19)}$$

2.1.2 最小平方方法(求解2.1.1)

我们还是使用K类判别函数式(17)作为判别函数，那么对于每个数据$x\text{x}x$，都会有K个判别函数，我们将其组合在一起，有：
$$y\text{y}y(x\text{x}x)={\tilde{W}}^T\widetilde{x\text{x}x}\text{\hspace{1em}(20)}$$
其中$\tilde{W}\in {\mathbb{R}}^{K\times (D+1)}$，D+1表示的$\widetilde{x\text{x}x}=(x\text{x}x,1)$的维度。

另外，我们再设$\tilde{X}\in {\mathbb{R}}^{N\times (D+1)}$中第i行代表数据${x\text{x}x}_i$，$T\in {\mathbb{R}}^N$代表所有目标变量（即输出集合）。则根据平方和损失公式，我们有
E D ( W ~ ) = 1 2 Tr { ( X ~ W ~ − T ) T ( X ~ W ~ − T ) } (21) E_D(\tilde{W}) = \frac{1}{2}\text{Tr}\{(\tilde X\tilde{W}-T)^T(\tilde X\tilde W-T) \}\tag{21} ED​(W~)=21​Tr{(X~W~−T)T(X~W~−T)}(21)
类似于式(8)，我们得到最优解
$$\tilde{W}=({\tilde{X}}^T\tilde{X}{)}^{-1}\tilde{X}T={\tilde{X}}^{†}T\text{\hspace{1em}(22)}$$
其中${\tilde{X}}^{†}$被称为伪逆矩阵。

2.1.3 感知器算法

感知器算法是二分类模型。设有两个类别$C_1,C_2$，目标变量分别为+1,-1，则其判别函数形式为
$$y(x\text{x}x)=f({w\text{w}w}^T\varphi \text{ϕ}\varphi (x\text{x}x))\text{\hspace{1em}(23)}$$
其中非线性激活函数$f$满足：
$$f(a)=\{\begin{array}{l}+1,a\ge 0\\ -1,a<0\end{array}\text{\hspace{1em}(24)}$$
现在，我们使用感知器准则来得出它的损失函数：设$t=+1$表示类别$C_1$，$t=-1$表示类别$C_2$，由(2)可得
$${w\text{w}w}^T\varphi \text{ϕ}\varphi ({x\text{x}x}_n)t_n\ge 0,\forall n=1,2,...,N\text{\hspace{1em}(25)}$$
于是感知器准则将分类正确的样本，给予损失为0，若分类错误，即${w\text{w}w}^T\varphi \text{ϕ}\varphi ({x\text{x}x}_n)t_n<0$，损失为$-{w\text{w}w}^T\varphi \text{ϕ}\varphi ({x\text{x}x}_n)t_n$，于是损失为：
$$E_P(w\text{w}w)=-\sum _{n\in \mathcal{M}}{w\text{w}w}^T\varphi \text{ϕ}\varphi ({x\text{x}x}_n)t_n\text{\hspace{1em}(26)}$$
其中$\mathcal{M}$表示错分的样本集。我们可以对误差函数(26)使用梯度下降法更新：
$${w\text{w}w}^{\tau +1}={w\text{w}w}^{\tau }-\eta \nabla E_P(w\text{w}w)={w\text{w}w}^{\tau }+\eta {\varphi \text{ϕ}\varphi }_n{t}_n\text{\hspace{1em}(27)}$$

• 感知器收敛定理表明，对于线性可分数据，感知器算法保证在有限步内收敛(找到精确解)。但其余情况则不保证收敛。
• 感知器算法无法以概率形式输出。
• 无法直接推广到K>2的情况。

2.2 概率判别式模型

2.2.1 Logistic回归

Logistic回归使用了具有如下性质的激活函数：

该函数被称为logistic sigmoid函数，用符号$\sigma (\cdot )$表示。可以看到该函数的值域为$[0,1]$。

针对二分类问题和类别$C_1,C_2$，由上述函数作激活函数，对输入的非线性变换$\varphi \text{ϕ}\varphi (x\text{x}x)$(简写为$\varphi \text{ϕ}\varphi$)，有：
$$\begin{gathered} p(C_1|\varphi \text{ϕ}\varphi )=y(\varphi \text{ϕ}\varphi )=\sigma ({w\text{w}w}^T\varphi \text{ϕ}\varphi ) \\ y(C_2|\varphi \text{ϕ}\varphi )=1-p(C_1|\varphi \text{ϕ}\varphi )\text{\hspace{1em}(28)} \end{gathered}$$
对于数据集 X = { x 1 , . . . , x n } , t = { t 1 , . . . , t n } ( t i ∈ { 0 , 1 } ) X=\{\pmb{x_1},...,\pmb{x}_n \},\pmb{t}=\{t_1,...,t_n\}(t_i\in\{0,1\}) X={x1​​x1​​​x1​,...,xxxn​},ttt={t1​,...,tn​}(ti​∈{0,1})，似然函数可写为：
$$p(t\text{t}t|w\text{w}w)=\prod _{n=1}^N{y}_n^{t_n}(1-y_n{)}^{1-t_n},y_n=\sigma ({w\text{w}w}^T{\varphi \text{ϕ}\varphi }_n)\text{\hspace{1em}(29)}$$
我们把损失函数定义为似然函数的负对数(交叉熵损失)，有
E ( w ) = − ln ⁡ p ( t ∣ w ) = − ∑ n = 1 N { t n ln ⁡ y n + ( 1 − t n ) ln ⁡ ( 1 − y n ) } (30) E(\pmb{w}) = -\ln p(\pmb{t}|\pmb{w}) = -\sum_{n=1}^N \{t_n\ln y_n + (1-t_n)\ln (1-y_n)\}\tag{30} E(www)=−lnp(ttt∣www)=−n=1∑N​{tn​lnyn​+(1−tn​)ln(1−yn​)}(30)
对参数$w$求偏导有:

∇ E ( w ) = ∑ j = 1 N ∂ E ∂ y j ∂ y j ∂ w = − ∑ n = 1 N { t n ( 1 − y n ) ϕ n − ( 1 − t n ) y n ϕ n } = ∑ n = 1 N ( y n − t n ) ϕ n (31) \begin{aligned} \nabla E(\pmb{w}) &= \sum_{j=1}^N\frac{\partial E}{\partial y_j}\frac{\partial y_j}{\partial \pmb{w}} \\ &= -\sum_{n=1}^N \{t_n(1-y_n)\pmb{\phi}_n-(1-t_n)y_n\pmb{\phi}_n \}\\ &= \sum_{n=1}^N (y_n-t_n)\pmb{\phi}_n \end{aligned}\tag{31} ∇E(www)​=j=1∑N​∂yj​∂E​∂www∂yj​​=−n=1∑N​{tn​(1−yn​)ϕ​ϕ​​ϕn​−(1−tn​)yn​ϕ​ϕ​​ϕn​}=n=1∑N​(yn​−tn​)ϕ​ϕ​​ϕn​​(31)

其中，$y_n^{\prime }=\sigma ({w\text{w}w}^T\varphi \text{ϕ}\varphi )=\sigma (1-\sigma )\varphi \text{ϕ}\varphi$，使用了Logistic sigmoid函数的导数性质。

PPT中使用梯度下降法更新得到收敛的最优参数${w\text{w}w}_{MAP}$，但我们采用Newton-Raphson法：
$${w\text{w}w}^{new}={w\text{w}w}^{old}-H^{-1}\nabla E(w\text{w}w)\text{\hspace{1em}(32)}$$
由(31)可得，
$$\begin{gathered} \nabla E(w\text{w}w)=\sum _{n=1}^N(y_n-t_n){\varphi \text{ϕ}\varphi }_n={\Phi \text{Φ}\Phi }^T(y\text{y}y-t\text{t}t) \\ H=\nabla \nabla E(w\text{w}w)=\sum _{n=1}^N{y}_n(1-y_n){\varphi \text{ϕ}\varphi }_n{\varphi \text{ϕ}\varphi }_n^T={\Phi \text{Φ}\Phi }^{T}R\Phi \text{Φ}\Phi \text{\hspace{1em}(33)} \end{gathered}$$
其中R为对角矩阵，$R_{nn}=y_n(1-y_n)$。

公式(32)可更新为：
w n e w = w o l d − ( Φ T R Φ ) − 1 Φ T ( y − t ) = ( Φ T R Φ ) − 1 { Φ T R Φ w o l d − Φ T ( y − t ) = ( Φ T R Φ ) − 1 Φ T R z (34) \begin{aligned} \pmb{w}^{new} &= \pmb{w}^{old} - (\pmb{\Phi}^TR\pmb{\Phi})^{-1}\pmb{\Phi}^T(\pmb{y}-\pmb{t})\\ &= (\pmb{\Phi}^TR\pmb{\Phi})^{-1}\{\pmb{\Phi}^TR\pmb{\Phi}\pmb{w}^{old}-\pmb{\Phi}^T(\pmb{y}-\pmb{t}) \\ &= (\pmb{\Phi}^TR\pmb{\Phi})^{-1}\pmb{\Phi}^TR\pmb{z}\\ \end{aligned}\tag{34} wwwnew​=wwwold−(ΦΦΦTRΦΦΦ)−1ΦΦΦT(y​y​​y−ttt)=(ΦΦΦTRΦΦΦ)−1{ΦΦΦTRΦΦΦwwwold−ΦΦΦT(y​y​​y−ttt)=(ΦΦΦTRΦΦΦ)−1ΦΦΦTRzzz​(34)
其中
$$z\text{z}z=\Phi \text{Φ}\Phi {w\text{w}w}^{old}-R^{-1}(y\text{y}y-t\text{t}t)\text{\hspace{1em}(35)}$$