机器学习笔记：逻辑回归

— 本博客内容主要来自周志华著《机器学习》及网上相关资源，用于个人的学习记录，禁止转载。

线性模型虽然简单，但是变化非常丰富，例如，我们如果认为样例所对应的输出是在指数尺度上变化的，那么就可以将输出标记的对数作为线性模型逼近的目标，$\ln y=w^{T}x+b$。这就是对数线性回归，实际上是利用$e^{w^T+b}$逼近$y$，形式上虽然是线性回归，但是求的是输入空间到输出空间的非线性映射。更一般的考虑单调可微函数$g(\cdot )$，令$y=g(w^{T}x+b)$，这样的模型称为广义线性模型。

1.模型

回归（regression）模型的输出是连续值，如何用连续值做分类的。考虑基本的二分类问题，我们可以使用阶跃函数，设$z=w^x+b$
$$y=\{\begin{array}{ll}0,& z<=0;\\ 0.5,& z=0;\\ 1,& z>0.\end{array}$$
但是，单位阶跃函数不连续，求解性质不好，我们希望能够找到一个近似单位阶跃函数的替代函数，要求是单调可微。对数几率函数（Sigmoid函数）就是一个常用的替代。可以得到广义线性模型
$$y=\frac{1}{1+e^{-(w^{T}x+b)}}$$
从而$\ln \frac{y}{1-y}=w^{T}x+b$，这里我们将$y$看做样本是正例的概率，那么$1-y$自然是负例的概率，数学中定义“几率”为相对可能性，即$\frac{y}{1-y}$，那么自然$w^{T}x+b$便成了所谓的**“对数几率”**。那么我们现在实际上是在用线性模型逼近真实样本的对数几率，称为”对数几率回归“，也叫”逻辑回归“。

2.求解

求解广义线性模型通常使用最小二乘法和极大似然法，极大似然法是概率统计中常用的求解模型参数的方法。这里，我们将$y$表示为后验概率$p(y=1|x)$，由前面的定义得到（注意Sigmoid函数1+$e^{-(w^{T}x+b)}$和后验概率1+$e^{-(w^{T}x+b)}$的区别）
$$p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$$

$$p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}$$

极大似然法可以简单理解为设定参数$\hat{\theta }$，使得各样本在此参数下的分布中真实出现的概率（积）最大，也就是下是的$y_i$是样本真实的标签决定的。给定数据集${(x_i,y_i)}_{i=1}^m$，对数几率回归最大化
$$l(w,b)=\sum _{i=1}^m\ln p(y_i|x_i;w,b)$$
为了方便讨论，记$\beta =(w,b),\hat{x}=(x;1)$，将$w^{T}x+b$简写为${\beta }^T\hat{x}$。由于这里的标签 y i ∈ { 0 , 1 } y_i\in\{0,1\} yi​∈{0,1}，我们使用一个小trick，将样本的后验概率写为
$$p(y_i|x_i;w,b)=y_i\cdot p(y_i=1|{\hat{x}}_i;\beta )+(1-y_i)\cdot p(y_i=0|{\hat{x}}_i;\beta )$$
需要注意，代入求解时，$\ln p(y_i)$转化为$y_i\ln p(y_i=1)+(1-y_i)\ln p(y_i=0)$，这里的“转化为”其实可以写为“=”，因为 $y_i$ 的二值性。或者按照《统计学习方法》中的表示，将样本的后验概率写为。
$$p(y_i|x_i;w,b)=[p(y_i=1|{\hat{x}}_i;\beta ){]}^{y_i}\cdot [p(y_i=0|{\hat{x}}_i;\beta ){]}^{1-y_i}$$
此时，将式1、2、3代入4或5都可得到
$$l(\beta )=\sum _{i=1}^m(-y_i{\beta }^T{\hat{x}}_i+\ln (1+e^{{\beta }^T{\hat{x}}_i}))$$
上述函数$l(\beta )$是关于$\beta$ 的高阶可到连续凸函数，许多经典的数值优化算法都可用于求解，例如梯度下降法、牛顿法等这里不做详解。