线性模型-（线性回归+LR模型）

1. 线性回归

线性回归试图学得：
$$f(x_i)=\omega x_i+b,使得f(x_i)\simeq y_i\text{\hspace{1em}(1)}$$
利用均方误差进行衡量$f(x_i)$与$y_i$的差别，求解$\omega ,b$使得均方误差最小。
$$\begin{array}{c}({\omega }^{\ast },b^{\ast })=\underset{(\omega ,b)}{\mathrm{argmin}}{\sum }_{i=1}^m(f(x_i)-y_i{)}^2\\ \\ =\underset{(\omega ,b)}{\mathrm{argmin}}{\sum }_{i=1}^m(y_i-\omega x_i-b{)}^2\end{array}\text{\hspace{1em}(2)}$$
求解 $\omega$ 和 $b$ 使得均方误差最小化的过程，称为线性回归模型的最小二乘“参数估计”。我们将均方误差分别对w和b求导，得到:
$$\frac{\partial E_{(\omega ,b)}}{\partial \omega }=2(\omega \sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i),\text{\hspace{1em}(3)}$$
$$\frac{\partial E_{(\omega ,b)}}{\partial b}=2(mb-\sum _{i=1}^m(y_i-\omega x_i)\text{\hspace{1em}(4)}$$
令上式为零可得到$\omega$和$b$最优解的闭式解：
$$\omega =\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}\text{\hspace{1em}(5)}$$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-\omega x_i)\text{\hspace{1em}(6)}$$
其中$\bar{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$为$x$的均值。
更一般的情形是数据集$D$,样本由$d$个属性描述。此时我们试图学得：
$$f(x)={\omega }^T{x}_i+b,使得f(x_i)\simeq y_i,\text{\hspace{1em}(7)}$$
这就成为“多元线性回归”。

类似地，可利用最小二乘来对$\omega$和$b$进行估计。为方便讨论，把$\omega$和$b$吸收如向量形式相应地，把数据集$D$表示为一个大小的矩阵$X$，其中每行对应一个示例，改行前d个元素对应于示例的d个属性值，最后一个元素恒置为1，即
$$X=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \cdots & x_{1d}& 1\\ x_{21}& x_{22}& \cdots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \cdots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right)\text{\hspace{1em}(8)}$$
标记写成向量形式为$y=(y_1;y_2;\cdots ;y_m)$，则有：
$${\hat{\omega }}^{\ast }=\underset{\hat{\omega }}{\mathrm{argmin}}(y-X\hat{\omega }{)}^T(y-X\hat{\omega })\text{\hspace{1em}(9)}$$
令$E_{\hat{\omega }}=(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$,对$\hat{\omega }$求导得到：
$$\frac{\partial E_{\hat{\omega }}}{\partial \hat{\omega }}=2X^T(X\hat{\omega }-y)\text{\hspace{1em}(10)}$$
当$X^{T}X$为满秩矩阵或正定矩阵时，令上式为零可得的 :
$${\hat{\omega }}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y\text{\hspace{1em}(11)}$$,
当其不是满秩矩阵，即我们常遇到大量的变量，其数目超过样例数，导致$X$的列数多于行数，显然不满秩。此时可解除多个$\hat{w}$，他们都能使均方误差最小化。选择哪一个作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化项。
假设我们认为示例所对应的输出标记是在指数尺度多行变化，那就可将输出标记的对数作为先行模型逼近的目标，即
$$ln(y)={\omega }^{T}x+b\text{\hspace{1em}(12)}$$
这就是“对数线性回归”。同时实际上是在试图让$e^{{\omega }^{T}x+b}$逼近y。实质撒花姑娘已是求输入空间到输出空间的非线性函数映射。
更一般地，考虑单调可微函数g(.)，令
$$y=g^{-1}({\omega }^{T}x+b)\text{\hspace{1em}(13)}$$,
这样得到的模型称为“广义线性模型（generalized linear model）”，其中函数$g(.)$称为“联系函数”。显然，对数线性回归是广义线性模型在$g(.)=ln(.)$时的特例

2.对数几率回归（LR回归）

2.1 定义

将线性模型用作分类任务时，只需找一个单调可微函数将分类任务的真实标记$y$与线性回归模型的预测值联系起来。
如：在二分类任务中，其输出标记$y\in 0,1$,而线性模型产生的预测值$z={\omega }^{T}x+b$是实值，于是，我们需要将实值$z$转换为0\1值，因此可以使用“单位阶跃函数”。但是“单位阶跃函数”不连续，因此使用单调可微的“对数几率函数”。
$$y=\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-({\omega }^{T}x+b)}}\text{\hspace{1em}(14)}$$
公式（14）可以变化为：
$$ln\frac{y}{1-y}={\omega }^{T}x+b\text{\hspace{1em}(15)}$$
若将$y$视为样本$x$的可能性，则$1-y$为反例的可能性，两者的比值$\frac{y}{1-y}$称为“几率”，反应$x$作为正例的相对可能性。取对数得到：
$$ln\frac{y}{1-y}\text{\hspace{1em}(16)}$$
由公式（15）可以看出，模型实际上在用线性回归模型的预测结果去逼近真实标记的对数几率。它是对分类直接进行建模，无需事先假设数据分布，避免了假设分布不准确带来的问题；同时，可以得到近似的概率预测，对于许多运用概率辅助决策的任务很有用。

2.2 求解

将式（14）的$y$视为类后验概率估计$p(y=1|x)$,则式（15）可以写为：
$$ln\frac{p(y=1|x)}{p(y=0|x)}={\omega }^{T}x+b\text{\hspace{1em}(17)}$$
则：
$$p(y=1|x)=\frac{e^{{\omega }^{T}x+b}}{1+e^{{\omega }^{T}x+b}}\text{\hspace{1em}(18)}$$
$$p(y=0|x)=\frac{1}{1+e^{{\omega }^{T}x+b}}\text{\hspace{1em}(19)}$$
可以通过“极大似然法”来估计$\omega ,b$.给定数据集 { ( x i , y i ) } i = 1 m \{(x_i,y_i)\}_{i=1}^m {(xi​,yi​)}i=1m​,对数几率回归模型最大化“对数似然”：
$$\ell (\omega ,b)=\sum _{i=1}^{m}lnp(y_i|x_i;\omega ,b)\text{\hspace{1em}(20)}$$
令$\beta =(\omega ;b),\hat{x}=(x;1)$,则${\omega }^{T}x+b$简写为：${\beta }^T\hat{x}$;再令$p_1(\hat{x};\beta )=p(y=1|\hat{x};\beta )$,$p_0(\hat{x};\beta )=p(y=0|\hat{x};\beta )=1-p_1(y=1|\hat{x};\beta )$,则：
$$p(y_i|x_i;\omega ,b)=y_i{p}_1({\hat{x}}_i;\beta )+(1-y_i)p_0({\hat{x}}_i;\beta )\text{\hspace{1em}(21)}$$
$$\ell (\beta )=\sum _{i=1}^m(-y_i{\beta }^T\widehat{x_i}+ln(1+e^{{\beta }^T\widehat{x_i}}))\text{\hspace{1em}(22)}$$
式（22）为关于$\beta$的高阶可导连续凸函数，根据凸优化理论，经典的数值优化算法如：梯度下降法，牛顿法都可以得到最优解。