机器学习-线性模型

线性模型

线性模型是指预测函数为线性函数的模型，即
$$f(\mathbf{x})={\omega }_1{x}_1+{\omega }_2{x}_2+\dots {\omega }_d{x}_d+b,$$
用向量形式则可写为
$$f(\mathbf{x})={\mathbf{\omega }}^{\text{T}}\mathbf{x}+b,$$
其中，$\mathbf{\omega }=\left({\omega }_1;{\omega }_2;\dots ;{\omega }_d\right)$为权重向量， $\mathbf{x}=\left(x_1;x_2;\dots ;x_d\right)$为特征向量。

线性回归

首先考虑一种简单的情形：输入属性的数目只有一个，也就是单变量线性回归。
单变量线性回归试图学得函数
$$f(x_i)=\omega x_i+b$$
并且使得预测值和真实值的误差尽可能小。

接下来我们通过让均方误差最小化来确定模型中的参数，即
$$\begin{array}{rl}\left({\omega }^{\ast },b^{\ast }\right)& =\underset{\left(\omega ,b\right)}{\mathrm{argmin}}\sum _{i=1}^m{\left(f(x_i)-y_i\right)}^2\\ & =\underset{\left(\omega ,b\right)}{\mathrm{argmin}}\sum _{i=1}^m{\left(\omega x_i+b-y_i\right)}^2\end{array}$$
由最小二乘法，可以求得$\omega ,b$的闭式解。

同样的，对于多元线性回归
$$f({\mathbf{x}}_i)={\mathbf{\omega }}^{\text{T}}{x}_i+b，\text{s.t.}f({\mathbf{x}}_i)\simeq y_i,$$
我们也利用最小二乘法来估计参数$\mathbf{\omega },b$.

为此，我们先对权重向量和特征向量增广，即
$$\begin{array}{rl}\hat{\mathbf{\omega }}& =\left(\mathbf{\omega },b\right),\\ \mathbf{X}& =\left(\mathbf{x},1\right),\end{array}$$

则最优解必定满足
$${\hat{\mathbf{\omega }}}^{\ast }=\underset{\hat{\mathbf{\omega }}}{\mathrm{argmin}}{\left(\mathbf{y}-\mathbf{X}\hat{\mathbf{\omega }}\right)}^{\text{T}}\left(\mathbf{y}-\mathbf{X}\hat{\mathbf{\omega }}\right).$$
令
$$E_{\hat{\mathbf{\omega }}}={\left(\mathbf{y}-\mathbf{X}\hat{\mathbf{\omega }}\right)}^{\text{T}}\left(\mathbf{y}-\mathbf{X}\hat{\mathbf{\omega }}\right)$$，对$\hat{\mathbf{\omega }}$ 求导可得
$$\frac{\partial E_{\hat{\mathbf{\omega }}}}{\partial \hat{\mathbf{\omega }}}=2{\mathbf{X}}^{\text{T}}\left(\mathbf{X}\hat{\mathbf{\omega }}-\mathbf{y}\right).$$
令上式等于零可以得到$\hat{\mathbf{\omega }}$最优解的闭式解。

对数几率回归

考虑广义线性模型
$$y=g^{-1}({\mathbf{\omega }}^{\text{T}}\mathbf{x}+b),$$
其中，$g(x)$是单调可微函数，称为联系函数。令$g(x)=\ln (x)$, 我们便得到了对数线性回归。

如果联系函数取对数几率函数
$$h(x)=\frac{1}{1+\exp (-x)},$$
便得到了对数几率回归
$$h=\frac{1}{1+\exp [-\left({\mathbf{\omega }}^{\text{T}}\mathbf{x}+b\right)]}.$$
等价地，我们有
$$\ln \frac{h}{1-h}={\mathbf{\omega }}^{\text{T}}\mathbf{x}+b.$$
对于二分类问题，若将 $h$ 看作样本 $\mathbf{x}$ 作为正例的可能性，则 $1-h$ 是其作为反例的可能性。两者的比值称为几率。若将 $h$ 视为类后验概率 $p(y=1|\mathbf{x}),$ 并且令
$$\begin{array}{rl}\mathbf{\beta }& =(\mathbf{\omega },b),\\ \hat{\mathbf{x}}& =(\mathbf{x},1).\end{array}$$
样本属于每个类的概率统一写成
$$p(y|\mathbf{x},\mathbf{\beta })={\left(h(\mathbf{x})\right)}^y{\left(1-h(\mathbf{x})\right)}^{1-y}.$$
因此，训练集的似然函数为
$$l(\mathbf{\beta })=\prod _{i=1}^{m}p(y_i|{\mathbf{x}}_i,\mathbf{\beta })=\prod _{i=1}^m{\left(h({\mathbf{x}}_i)\right)}^{y_i}{\left(1-h({\mathbf{x}}_i)\right)}^{1-y_i}.$$
取对数后，得到对数似然函数
$$L(\mathbf{\beta })=\ln (l(\mathbf{\beta }))=\sum _{i=1}^m\left[y_i\ln h({\mathbf{x}}_i)+(1-y_i)\ln (1-h({\mathbf{x}}_i))\right].$$
最后，我们可以通过梯度下降法获得其最优解。

线性判别分析

线性判别分析(Linear Discriminant Analysis, LDA)的基本思想是：通过线性投影使得同类样本间的差异最小化，不同类样本之间的差异最大化。具体的做法是寻找一个投影矩阵 $\mathbf{W}$， 样本的特征向量 $\mathbf{x}$ 经过投影之后得到
$$\mathbf{y}=\mathbf{W}\mathbf{x},$$
其中 $\mathbf{y}$ 是低维空间的特征向量。

接下来我们的目标就是要获取这个投影矩阵，首先考虑把向量映射到一维空间。给定数据集 D = { ( x i , y i ) } i = 1 m , y i = { 0 , 1 } , D = \{ (\bm{x}_{i}, y_{i})\}_{i=1}^{m}, \quad y_{i} = \{0,1\}, D={(xi​,yi​)}i=1m​,yi​={0,1}, 令$X_i,{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i$ 分别表示第 i ∈ { 0 , 1 } i \in \{0, 1\} i∈{0,1} 类示例的集合，均值向量、协方差矩阵。若将数据投影到直线 $\mathbf{\omega }$ 上，则可得样本的均值向量为
ω T μ i ,   i ∈ { 0 , 1 } , \bm{\omega}^{\text{T}} \bm{\mu}_{i}, \, i \in \{0, 1\}, ωTμi​,i∈{0,1},
协方差矩阵为
ω T Σ i ω ,   i ∈ { 0 , 1 } . \bm{\omega}^{\text{T}} \bm{\Sigma}_{i}\bm{\omega}, \, i \in \{0, 1\}. ωTΣi​ω,i∈{0,1}.

为了让同类样本间的差异最小化，可以让同类样本投影点的协方差尽可能小；而为了让不同类样本之间的差异最大化，可以让类中心之间的距离尽可能的大。综合考虑二者，可以得到需要最大化的目标
$$\begin{array}{rl}J& =\frac{||{\mathbf{\omega }}^{\text{T}}{\mathbf{\mu }}_0-{\mathbf{\omega }}^{\text{T}}{\mathbf{\mu }}_1|{|}_2^2}{{\mathbf{\omega }}^{\text{T}}{\mathbf{\Sigma }}_0\mathbf{\omega }+{\mathbf{\omega }}^{\text{T}}{\mathbf{\Sigma }}_1\mathbf{\omega }}\\ & =\frac{{\mathbf{\omega }}^{\text{T}}\left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right){\left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right)}^{\text{T}}\mathbf{\omega }}{{\mathbf{\omega }}^{\text{T}}\left({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1\right)\mathbf{\omega }}.\end{array}$$

定义类内散度矩阵
$$\begin{array}{rl}{\mathbf{S}}_{\omega }& ={\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1\\ & =\sum _{\mathbf{x}\in X_0}(\mathbf{x}-{\mathbf{\mu }}_0)(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\text{T}}+\sum _{\mathbf{x}\in X_1}(\mathbf{x}-{\mathbf{\mu }}_1)(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\text{T}}\end{array}$$
和类间散度矩阵
$${\mathbf{S}}_b=\left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right){\left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right)}^{\text{T}},$$
则
$$J=\frac{{\mathbf{\omega }}^{\text{T}}{\mathbf{S}}_b\mathbf{\omega }}{{\mathbf{\omega }}^{\text{T}}{\mathbf{S}}_{\omega }\mathbf{\omega }},$$
此即 ${\mathbf{S}}_b$ 和 ${\mathbf{S}}_{\omega }$的广义瑞利商。

接下来，我们来确定模型中的参数，考虑到此最优化问题的解不唯一，因此，可以加上一个约束条件简化问题
$${\mathbf{\omega }}^{\text{T}}{\mathbf{S}}_{\omega }\mathbf{\omega }=1.$$
这样，上面的最优化问题转化为
$$\begin{array}{rl}& \underset{\mathbf{\omega }}{\min }-{\mathbf{\omega }}^{\text{T}}{\mathbf{S}}_b\mathbf{\omega }\\ & \text{s.t.}{\mathbf{\omega }}^{\text{T}}{\mathbf{S}}_{\omega }\mathbf{\omega }=1\end{array}$$
由拉格朗日乘子法可知上式等价于
$${\mathbf{S}}_b\mathbf{\omega }=\lambda {\mathbf{S}}_{\omega }\mathbf{\omega },$$
如果 ${\mathbf{S}}_{\omega }$ 可逆，则有
$${\mathbf{S}}_{\omega }^{-1}{\mathbf{S}}_b\mathbf{\omega }=\lambda \mathbf{\omega }.$$

---

接下来我们将其推广到多分类问题中，假定存在 $N$ 个类，且第 $i$ 类样本数为 $m_i$,

定义全局散度矩阵
$$\begin{array}{rl}{\mathbf{S}}_t& ={\mathbf{S}}_b+{\mathbf{S}}_{\omega }\\ & =\sum _{i=1}^m\left({\mathbf{x}}_i-\mathbf{\mu }\right){\left({\mathbf{x}}_i-\mathbf{\mu }\right)}^{\text{T}}\end{array},$$
以及类内散度矩阵
$${\mathbf{S}}_{\mathbf{\omega }}=\sum _{i=1}^N{\mathbf{S}}_{{\omega }_i},$$
其中，
$${\mathbf{S}}_{{\omega }_i}=\sum _{\mathbf{x}\in X_i}\left(\mathbf{x}-{\mathbf{\mu }}_i\right){\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^{\text{T}}.$$
由上面这些表达式，可得
$${\mathbf{S}}_b={\mathbf{S}}_t-{\mathbf{S}}_{\omega }=\sum _{i=1}^N{m}_i\left({\mathbf{\mu }}_i-\mathbf{\mu }\right){\left({\mathbf{\mu }}_i-\mathbf{\mu }\right)}^{\text{T}}.$$

最后，为了实现多分类 LDA ，只要使用 ${\mathbf{S}}_b,{\mathbf{S}}_t,{\mathbf{S}}_{\omega }$ 三者中的任何两者即可。通常使用如下的优化目标
$$\underset{\mathbf{W}}{\max }\frac{\text{tr}\left({\mathbf{W}}^{\text{T}}{\mathbf{S}}_b\mathbf{W}\right)}{\text{tr}\left({\mathbf{W}}^{\text{T}}{\mathbf{S}}_{\omega }\mathbf{W}\right)}.$$
而上式可以通过如下的广义特征值问题求解
$${\mathbf{S}}_b\mathbf{W}=\lambda {\mathbf{S}}_{\omega }\mathbf{W}.$$