深度学习笔记(2) 逻辑回归

---

一、逻辑回归的介绍

  前面介绍过线性回归，我们知道线性回归输入和输出之间满足线性关系，但是很多问题不是简单的线性关系，因此需要引入非线性函数来增强模型的拟合能力，逻辑回归（logistics regression）相当于在此基础上加入了非线性函数$\sigma (\cdot )$，也就是常说的sigmoid函数，其公式为：
$$\sigma (z)=\frac{1}{1+exp(-z)}$$
$$z=w^T\cdot x+b$$
  $\sigma (z)$的函数图像如下图，它将输入压缩到0和1之间，当$z>0$时，输出$\sigma (z)>0.5$；当$z<0$时，输出$\sigma (z)<0.5$。我们还可以发现当$z\to 0$时，梯度较大，函数变化较快；当$z$趋于无穷时，梯度趋于0，函数变化较慢。也可以根据其导数来观察性质，${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$，当$\sigma (z)$趋于0和1时，即$z$趋于无穷时，梯度较小，当$\sigma (z)=0.5$，即$z=0$时，梯度最大。

  我们知道线性回归给定输入特征后可以预测输出值，逻辑回归返回的是一个0到1之间的数，这其实是一个概率值，常用来做二分类。
  假设有两类样本$C1$和$C2$，现在给定一个样本$x$，我们可以定义样本属于类别$C1$的概率为：
$$P(C1|x)=\sigma (z)=\sigma (w^T\cdot x+b)$$
  那么样本属于$C2$的概率显然为：$P(C2|x)=1-P(C1|x)$。我们只需要根据$z=w^T\cdot x+b$的正负就能判断类别，当$z>0$时，$P(C1|x)>0.5$，可以判定$x$属于$C1$，否则属于$C2$。
  令$y=1$表示$C1$的标签，$y=0$表示$C2$的标签，$\hat{y}$表示预测值，$\hat{y}=P(C1|x)$，这里0和1表示哪个类别的标签都可以，预先定义好就行，标签为1的样本通常称为正样本，标签为0的称为负样本。

  给定$n$个样本$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdot \cdot \cdot ，(x^{(n)},y^{(n)})$(上标表示样本编号)，下面我们需要定义一个目标函数来衡量$y$和$\hat{y}$之间的差异，线性回归使用的是最小均方误差损失，这里我们使用交叉熵损失，其公式为：
$$L=\sum _{i=1}^{n}C({\hat{y}}^{(i)},y^{(i)})=\sum _{i=1}^n-[y^{(i)}ln({\hat{y}}^{(i)})+(1-y^{(i)})ln(1-{\hat{y}}^{(i)})]$$

  其中
$$C({\hat{y}}^{(i)},y^{(i)})=\{\begin{array}{rlr}-ln({\hat{y}}^{(i)})& ，& if{y}^{(i)}=1\\ -ln(1-{\hat{y}}^{(i)})& ，& if{y}^{(i)}=0\end{array}$$
  这里为什么要这样定义呢？在线性回归中我们希望预测值和真实值越接近越好，而真实值有无穷多个可能的取值，所以我们希望预测值和真实值的均方误差越小越好；而在二分类问题中，真实值只能取0或1，我们希望正样本输出接近1，负样本输出接近0，即正样本的似然概率越大越好。
  举一个例子，假设样本及其对应的标签如下表所示：

$x^{(1)}$	$C1$
$x^{(2)}$	$C2$
$x^{(3)}$	$C1$
$x^{(4)}$	$C1$
$x^{(5)}$	$C2$

  我们知道正样本预测值为${\hat{y}}^{(i)}=\sigma (z^{(i)})=\sigma (w^T\cdot x^{(i)}+b)$，负样本为$1-{\hat{y}}^{(i)}$，那么我们可以求出似然概率为：
$$L(w)={\hat{y}}^{(1)}\cdot (1-{\hat{y}}^{(2)})\cdot {\hat{y}}^{(3)}\cdot {\hat{y}}^{(4)}\cdot (1-{\hat{y}}^{(5)})$$
  我们希望$L(w,b)$越大越好，这样就能使得正样本输出越来越接近1，负样本输出越来越接近0，对结果取$ln$可以得到：
$$L(w)=ln({\hat{y}}^{(1)})+ln(1-{\hat{y}}^{(2)})+ln({\hat{y}}^{(3)})+ln({\hat{y}}^{(4)})+ln(1-{\hat{y}}^{(5)})$$
  结果再取负号，然后扩展到$n$个样本就得到了上面定义的交叉熵损失函数，我们希望其值越小越好。
  因此目标函数为：
$$L(w)=\sum _{i=1}^n-[y^{(i)}ln({\hat{y}}^{(i)})+(1-y^{(i)})ln(1-{\hat{y}}^{(i)})]$$
  我们要做的就是找到一组参数$w$使得目标函数的值最小，即$w^{\ast }=arg\underset{w}{\min }L(w)$，然后用梯度下降法迭代求解。


  那逻辑回归可以使用均方误差函数吗？假设使用均方误差函数：
$$\hat{y}=\sigma (w^T\cdot x+b)$$
$$L(w)=\frac{1}{2}\sum _{i=1}^n(y^{(i)}-{\hat{y}}^{(i)}{)}^2$$
  我们可以求出梯度为：
$$\begin{array}{rl}\frac{dL(w)}{dw}& =\frac{dL(w)}{d{\hat{y}}^{(i)}}\cdot \frac{d{\hat{y}}^{(i)}}{dz}\cdot \frac{dz}{dw}\\ & =-\sum _{i=1}^n(y^{(i)}-{\hat{y}}^{(i)})\cdot {\hat{y}}^{(i)}(1-{\hat{y}}^{(i)})\cdot x^{(i)}\end{array}$$
  当$y^{(i)}=1$时，如果${\hat{y}}^{(i)}=1$（即标签是1，预测值是1，预测值接近目标值），$\frac{dL(w)}{dw}=0$，这是合理的，因为我们希望预测正确的时候梯度为0；
  如果${\hat{y}}^{(i)}=0$（即标签是0，预测值是1，预测值远离目标值），$\frac{dL(w)}{dw}=0$，这是不合理的，因为预测值不正确，但是梯度却为0；
  同理，当$y^{(i)}=0$时，如果${\hat{y}}^{(i)}=1$，$\frac{dL(w)}{dw}=0$；如果${\hat{y}}^{(i)}=0$，$\frac{dL(w)}{dw}=0$。


  交叉熵损失和均方误差损失的图像如下所示，黑色表示交叉熵损失的图像，红色表示均方误差损失，可以看出交叉熵损失变化更剧烈。

二、逻辑回归与线性回归对比

1.定义

   线性回归的公式为：$\hat{y}=w^T\cdot x+b$，它可能的输出任何值。
   逻辑回归的公式为：$\hat{y}=\sigma (w^T\cdot x+b)$，它可能的输出值在0和1之间。

2.损失函数

  线性回归使用均方误差损失，公式为：$$L(w)=\frac{1}{2}\sum _{i=1}^n(y^{(i)}-{\hat{y}}^{(i)}{)}^2$$
  逻辑回归使用交叉熵损失，公式为：$$L(w)=\sum _{i=1}^n-[y^{(i)}ln({\hat{y}}^{(i)})+(1-y^{(i)})ln(1-{\hat{y}}^{(i)})]$$

3.参数更新

  对于线性回归，我们可以求出损失函数的梯度为：
$$\begin{array}{rl}\frac{dL(w)}{dw}& =\frac{dL(w)}{d{\hat{y}}^{(i)}}\cdot \frac{d{\hat{y}}^{(i)}}{dw}\\ & =-\sum _{i=1}^n(y^{(i)}-{\hat{y}}^{(i)})\cdot x^{(i)}\end{array}$$
$$w=w-\eta \frac{dL(W)}{dw}$$
  对于逻辑回归，我们把公式表示为：$\hat{y}=\sigma (z)$，$z=w^T\cdot x+b$
  根据链式法则：$$\frac{dL(w)}{dw}=\frac{dL(w)}{d{\hat{y}}^{(i)}}\cdot \frac{d{\hat{y}}^{(i)}}{dw}=\frac{dL(w)}{d{\hat{y}}^{(i)}}\cdot \frac{d{\hat{y}}^{(i)}}{dz}\cdot \frac{dz}{dw}$$
  其中：$$\frac{dL(w)}{d{\hat{y}}^{(i)}}=\sum _{i=1}^n-[\frac{y^{(i)}}{{\hat{y}}^{(i)}}-\frac{1-y^{(i)}}{1-{\hat{y}}^{(i)}}]$$
$$\frac{d{\hat{y}}^{(i)}}{dz}={\hat{y}}^{(i)}(1-{\hat{y}}^{(i)})$$
$$\frac{dz}{dw}=x^{(i)}$$
  将上面的式子整合起来得到：

$$\begin{array}{rl}\frac{dL(w)}{dw}& =\sum _{i=1}^n-[\frac{y^{(i)}}{{\hat{y}}^{(i)}}-\frac{1-y^{(i)}}{1-{\hat{y}}^{(i)}}]\cdot {\hat{y}}^{(i)}(1-{\hat{y}}^{(i)})\cdot x^{(i)}\\ & =-\sum _{i=1}^n[y^{(i)}(1-{\hat{y}}^{(i)})-{\hat{y}}^{(i)}(1-y^{(i)})]\cdot x^{(i)}\\ & =-\sum _{i=1}^n(y^{(i)}-{\hat{y}}^{(i)})\cdot x^{(i)}\end{array}$$
$$w=w-\eta \frac{dL(W)}{dw}$$
  我们可以发现线性回归和逻辑回归的梯度在形式上是相同的。

本文根据李宏毅老师2020机器学习资料整理。
地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html