徐丢丢的机器学习笔记（一）—— Logistic Regression

最新推荐文章于 2024-10-31 16:13:38 发布

徐丢丢

最新推荐文章于 2024-10-31 16:13:38 发布

阅读量186

点赞数

文章标签：机器学习算法

本文链接：https://blog.csdn.net/xudiudiu/article/details/108488821

版权

线性模型

首先，我们回顾一下线性模型的概念，周志华《机器学习》中是这样定义线性模型的：

给定由d个属性描述的示例 $\bm{x}=(x_1;x_2;...;x_d)$ ，其中 $x_i$ 是 $\bm{x}$ 在第i个属性上的取值，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即：

$f(x)=w_1x_1+w_2x_2+...+w_dx_d+b \tag{1}$

一般可以写作向量形式：

$f(\bm{x}) = \bm{w}^T \bm{x} + b \tag{2}$

因此我们只需要学习得到 $\bm{w}$ 和 $b$ 就能确定模型。

Logistics函数是怎么来的？

首先需要确立关于广义线性模型的几个概念：

给定特征属性x和参数 $\theta$ ，y的条件概率 $P(y|x;\theta)$ 服从指数分布族
$P(y;\eta) = b(y)\exp(\eta^TT(y)-a(\eta)) \tag{3}$
预测T(y)的期望，即计算 $E [T (y) ∣ x]$
$\eta$ 与 $x$ 之间是线性的，即 $\eta=\theta^Tx$

一般来说，逻辑回归二分类问题遵循伯努利分布，因此预测概率可以写成：

$\begin{aligned} P(y;\phi) & = \phi^y(1-\phi)^{1-y} \\ & =\exp(\ln(\phi^y(1-\phi)^{1-y})) \\ & =\exp(y\ln\phi+(1-y)\ln(1-\phi)) \\ &= \exp(y\ln\frac{\phi}{1-\phi}+\ln(1-\phi)) \end{aligned} \tag{4}$

对照指数分布族的式子，我们可以得到对应关系：

$\begin{cases} b(y)=1 \\ \eta=\ln(\frac{\phi}{1-\phi}) \\ T(y) = y \\ a(\eta) = -\ln(1-\phi) \end{cases} \tag{5}$

因此，我们可以得到 $\eta$ 和 $\phi$ 之间的关系式：
$\phi = \frac{1}{1+e^{-\eta}}=\frac{1}{1+e^{-\theta^Tx}} \tag{6}$

到这里，是否对这条式子有一些熟悉了，如果对逻辑回归熟悉的同学，可能已经发现，以上这个式子，就是逻辑回归中所使用的Sigmoid函数。因此，逻辑回归中使用Sigmoid函数是具有理论依据的。

逻辑回归的理论推导

首先，我们知道线性回归可以写成公式(2)中 $f(\bm{x}) = \bm{w}^T \bm{x} + b$ 的形式，并且使用Sigmoid函数将线性回归的预测值压缩到 $(0, 1)$ 的区间中，Sigmoid函数可以写成：
$y=\frac{1}{1+e^{-z}} = \frac{1}{1+e^{-(\bm{w}^T\bm{x}+b)}} \tag{7}$

Sigmoid函数及其导数的图像，如图1图2所示。根据图像我们可以发现，当 $z > 0$ 时， $y > 0.5$ ，当 $z\le0$ 时， $y\le0.5$ ，由此我们可以通过计算y的值从而判断是哪一类。

接下来我们正式开始数学推导过程，大家拿好纸笔跟着一起来推 😃

这里引入正反例的概念，由于逻辑回归中遵循伯努利分布，因此 $y\in\{0, 1\}$ ，我们可以假设1代表正例，0代表反例，那么我们可以写出y分别为正例和反例的概率：
$f_{w,b}(x)=p(y=1|x)=\frac{e^{-(\bm{w}^T\bm{x}+b)}}{1+e^{-(\bm{w}^T\bm{x}+b)}} \tag{8}$

$1-f_{w,b}(x)=p(y=0|x)=\frac{1}{1+e^{-(\bm{w}^T\bm{x}+b)}} \tag{9}$

其中 $f_{w,b}(x)$ 为当给定一组 $(w, b)$ 时，对特征向量x预测出为正例的概率。

因此，我们可以通过极大似然估计去估计 $(w, b)$ ，我们可以写出下面一条式子：

$\prod_{i=1}^m p(y_i|x_i;w,b) \tag{10}$

即令每个样本属于其真实标记的概率越大越好，为了方便计算，我们可以将上述式子改写成对数形式：

$\begin{aligned} L(w,b) & = \sum_{i=1}^m \ln p(y_i|x_i;w,b) \\ & = \sum_{i=1}^m [y_i\ln f_{w,b}(x_i) + (1-y_i)\ln (1-f_{w,b}(x_i))] \end{aligned} \tag{11}$

我们的目标函数是使得 $L (w, b)$ 最大化，那么也可以改写为令 $- L (w, b)$ 最小化，因此有：

$-\sum_{i=1}^m [y_i\ln f_{w,b}(x_i) + (1-y_i)\ln (1-f_{w,b}(x_i))] \tag{12}$

推到这里，我们可以发现，上式实际上是 $y$ 与 $f_{w,b}(x)$ 两个伯努利分布的交叉熵。

那么，接下来我们可以用梯度下降法来求得最优解。

对 $w$ 求导有：
$\begin{aligned} \frac{\partial (-L(w,b))}{\partial w} & =-\sum_{i=1}^m y_i(1-f(x_i))x-(1-y_i)f(x_i)x \\ & =-\sum_{i=1}^m (y_i-f(x_i))x \end{aligned} \tag{13}$