关于Logistic Regression、Softmax Loss和Cross-entropy的随笔

最近看深度学习图像分类的相关知识的时候，发现对于Softmax损失函数的相关概念没有搞明白，因此讲设计到的相关知识一些梳理，供大家参考。

本文以CIFAR-10数据集图片分类任务为例展开，定义第$i$ 个输入样本$x_{i}$ ，输出$y_{i}$ ，图片共有10类（$k=0,1,...,c, c=9$）

---

Logistic Regression

Logistic Regression作为经典的二分类问题（样本label为0或1）的分类器，本质是通过Sigmoid函数将输入向量 $x$ 映射到样本属于正负样本的概率值:

$$P\left( y=1|x\right)=f\left( x\right) =\dfrac {1} {1+e^{-x}}$$

$$P\left( y=0|x\right)=1-f\left( x\right)$$
那么样本 $x$ 属于观测值的概率值即为：
$$p\left( y|x\right) =f\left( x\right)^{y}+(1-f\left( x\right))^{1-y}$$
显然我们希望上式最大，即函数输出尽可能接近于真实label，那么假设有 $m$ 样本，并假设独立同分布（这在机器学习的一般问题中是成立的，因为样本已经给定，他们互不影响），那么$m$ 个样本的联合分布（可以理解为 $m$ 个样本都分类正确的概率）即为：
$$L\left( \theta \right) =\prod _{i=1}^{m}p\left( y_{i}|x_{i}\right)$$
Logistic Regression核心的思想是 最大似然估计显然希望上式最大，即等价于 $\ln ^{L\left( \theta \right) }$ 最大，即等价于 $-\ln ^{L\left( \theta \right) }$ 最小，这就得到了Andrew Ng课程中的损失函数形式：

Softmax (Loss)

上面介绍的是二分类的问题，可以用Logistic Regression解决，对于多分类问题，例如CIFAR-10图像分类问题，就需要多输出的Softmax函数形式。
以CIFAR-10数据集为例，最终网络输出层$y$ 一定是10个节点，分布代表10个类别，由于输出层一般是前一层通过全连接得到，那么$y\in R^{1\times 10}$ ，Softmax作用就是将连续值$y$ 通过归一化转换为概率值：

$$P\left( y_{i}|x\right) =\sum_{k} \dfrac {e^{f_{y_{i}}}} {e^{f_{i}}}$$
上式中$y_{i}$ 代表第$i$ 个样本的真实类别$P\left( y_{i}|x\right)$就代表了网络对于输入样本属于每一类别赋予的概率值，最大值所属的类别即是该输入样本的类别。第i个样本的损失函数可以定义为：

$$L_{i} =-log(\dfrac {e^{f_{y_{i}}}} {\sum_{k}e^{f_{k}}})$$
对于m个样本的总体Loss可以写成：
$$L_{i} =-\dfrac {1} {m}\left[\sum _{i=1}^{n}\sum _{k=}^{c}1\left( y=k\right)log(\dfrac {e^{f_{y_{i}}}} {\sum_{k}e^{f_{k}}}) \right]$$
关于Logistic Regression和Softmax Loss的优化问题这里就不展开了，具体可以参考 UFLDL教程。

注：多个二分类的Logistic Regression也可以达到多分类，我们判断选择Softmax还是Logistic Regression的标准是样本的label是否存在重叠，例如判断人的种族两种方法都可以，因为一个人只可能属于一种种族；但是判断图片风格（风景照、户外照、室内照、人物照）则只能用Logistic Regression，因为一张照片可能属于多类。

Cross-entropy

为了更好得理解Softmax Loss，可以从交叉熵角度直观思考。首先，交叉熵是用来表述真实样本概率分布$p$ 和预测样本概率分布$q=P\left( y|x\right)$ 的差异度：

$$H\left( p,q\right) =-\sum p\left( x\right) \log q\left( x\right)$$
也可以写成：
$$H\left( p,q\right) =H\left( p\right) +D_{K,L}(p\parallel q)$$
其中 $H\left( p\right)$ 是 $p=\left( 0,0,\ldots ,1,0\ldots ,0\right)$ 的熵（显然值为0）， $D_{K,L}(p\parallel q)$ 为 相对熵/KL散度，我们的目标是最小化 $D_{K,L}(p\parallel q)$ 。

Softmax Loss和其他机器学习任务中用到的都是$D_{K,L}(p\parallel q)$ 相对熵的概念，而不是交叉熵

以CIFAR-10图像分类任务为例，假设第i个样本图片属于第j类，即$p_{i}=\left( 0,0,\ldots ,1,0\ldots ,0\right)$ ，而经过Softmax得到的$q$ 的形式为$q_{i}=e^{fy_{i}} / \sum _{k}e^{f_k},K=0,1,\ldots ,9$ , 显然q中的都为[0,1]的值，最理想的情形就是$p=q$，说明模型不仅分类正确，而且置信度100%，那么Loss应该0，否则q和p差的越大那么Loss应该越大。
w我们将$D_{K,L}(p\parallel q)$ 继续化简：

$$\begin{align} D_{K,L}(p\parallel q)&=H\left( p,q\right) -H\left( p\right) \\ &= -\sum p\left( x\right) \log q\left( x\right)+\sum p\left( x\right) \log p\left( x\right)\\ &=-\sum p\left( x\right) \log p\left( x\right)/q\left( x\right) \end{align}$$
然后把上式的 $p(x)$ 和 $q(x)$ 替换成 $e^{f_{y_{i}}}$ 和 $e^{f_{i}}$ 就得到Softmax Loss的表达式啦。