2020-6-16 吴恩达-改善深层NN-w3 多种可能分类Multi class classification(3.8 Softmax 回归--Softmax激活函数识别多种分类)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

3.8 Softmax 回归 Softmax regression

到目前为止，我们讲到过的分类的例子都使用了二分分类，这种分类只有两种可能的标记0或1。如果我们有多种可能的类型的话呢？有一种逻辑回归的一般形式，叫做Softmax回归，能让你在试图识别某一分类时做出预测，或者说是多种分类中的一个，不只是识别两个分类，我们来一起看一下。

观察上图。假设你不单需要识别猫，而是想识别猫，狗和小鸡。我把猫叫做类1，狗为类2，小鸡是类3，如果不属于以上任何一类，就分到“其它”或者说“以上均不符合”这一类，我把它叫做类0。

这里显示的图片及其对应的分类就是一个例子。左边第一幅图片上是一只小鸡，所以是类3，第二幅猫是类1，第三幅狗是类2，第四幅是一只考拉，所以以上均不符合，那就是类0，第五幅小鸡类3，以此类推。

我们将用符号$C$表示你的输入会被分入的类别总个数。在这个例子中，我们有4种可能的类别，包括“其它”或“以上均不符合”这一类。当有4个分类时，指示类别的数字，就是从0到$C-1$，换句话说就是0、1、2、3。

如上图。
在这个例子中，我们将建立一个NN，其输出层有4个，或者说$C$个输出单元。因此，$n$，即输出层也就是 $L$ 层的单元数量，等于4，或者一般而言等于$C$。
$n^{[L]}=C=4$

我们想要输出层单元的数字告诉我们这4种类型中每个的概率有多大，所以

• 输出层的第一个节点输出的应该是或者说我们希望它输出“其它”类的概率，$P(other|x)$。
• 在输入$x$的情况下，输出层第二个节点会输出猫的概率，$P(cat|x)$。
• 在输入$x$的情况下，输出层第三个节点会输出狗的概率，$P(dog|x)$。
• 在输入$x$的情况下，输出层第四个节点会输出小鸡的概率，我把小鸡缩写为bc（baby chick），$P(bc|x)$。

因此预测值$\hat{y}$将是一个 4x1 维向量，因为它必须输出四个数字。而这四种概率，它们加起来应该等于1，即，输出层中的四个数字加起来应该等于1。

让你的网络做到这一点的标准模型要用到Softmax层，以及输出层来生成输出$\hat{y}$。

我们来观察一下公式。

在NN的最后一层，你将会像往常一样计算各层的线性部分。
$z^{[L]}$是最后一层的z变量，$L$是层数。$z^{[L]}=W^{[L]}{a}^{[L-1]}+b^{[L]}$。
然后，我们需要应用Softmax激活函数。这个激活函数对于Softmax层而言有些不同，它的作用是这样的。

首先，我们要计算一个临时变量，我们把它叫做$t$，$t=e^{z^{[L]}}$，这适用于每个元素。由于$z^{[L]}$的维度是 4x1，所以$t$的维度也是 4x1。

然后输出的 $a^{[L]}$，$a^{[L]}=\frac{e^{z^{[L]}}}{{\sum }_{i=1}^4{t}_i}$，分母是把向量$t$归一化，和为1。$a^{[L]}$也是 4x1 维向量。这个四维向量的第个元素$a_i^{[L]}=\frac{t_i}{{\sum }_{i=1}^4{t}_i}$。

例，假设$z^{[L]}=\left[\begin{array}{c}5\\ 2\\ -1\\ 3\end{array}\right]$，所以$t=\left[\begin{array}{c}{e}^5\\ e^2\\ e^{-1}\\ e^3\end{array}\right]=\left[\begin{array}{c}148.4\\ 7.4\\ 0.4\\ 20.1\end{array}\right]$，所以$a^{[L]}=\frac{t}{176.3}$。

此时，输出层第一个节点，$a_1^{[L]}=\frac{148.4}{176.3}=0.842$，即，类别0的概率是84.2%。
输出层第二个节点，$a_1^{[L]}=\frac{7.4}{176.3}=0.042$，即，类别1的概率是4.2%。
输出层第三个节点，$a_1^{[L]}=\frac{0.4}{176.3}=0.002$，即，类别2的概率是0.2%。
输出层第四个节点，$a_1^{[L]}=\frac{20.1}{176.3}=0.114$，即，类别3的概率是11.4%。

最终，NN的输出$a^{[L]}$，也就是$\hat{y}$，是一个4×1维向量，$\hat{y}=\left[\begin{array}{c}0.842\\ 0.042\\ 0.002\\ 0.114\end{array}\right]$，4个元素总和为1，也就是4个分类的概率之和为1。

我们总结一下从$z^{[L]}$到$a^{[L]}$的计算步骤，从计算幂到得出临时变量$t$，再归一化，我们可以将此概括为一个Softmax激活函数。这一激活函数的与众不同之处在于，这个激活函数 需要输入一个4×1维向量，然后输出一个4×1维向量。

之前我们的激活函数都是接受单行数值输入，例如Sigmoid和ReLu激活函数，输入一个实数，输出一个实数。Softmax激活函数的特殊之处在于，因为需要将所有可能的输出归一化，就需要输入一个向量，最后输出一个向量。

那么Softmax分类器还可以代表其它的什么东西么？

举几个例子，有两个输入$x_1$，$x_2$，它们直接输入到Softmax层。Softmax层有三四个或者更多的输出节点，输出为$\hat{y}$。

观察上图。这是一个没有隐藏层的NN，它所做的就是计算$z^{[1]}=W^{[1]}x+b^{[1]}$，而输出的$a^{[1]}$，或者说$\hat{y}$，$a^{[1]}=\hat{y}=g(z^{[1]})$，就是的Softmax激活函数。

上图中，原始输入只有$x_1$和$x_2$，一个$C=3$个输出分类的Softmax层能够代表这种类型的决策边界。请注意图中的几条线性决策边界，这使得它能够将数据分到3个类别中。

在这张图中，我们所做的是选择这张图中显示的训练集，用数据的3种输出标签来训练Softmax分类器，图中的颜色显示了Softmax分类器的输出的阈值。输入的着色是基于三种输出中概率最高的那种。因此我们可以看到这是逻辑回归的一般形式，有类似线性的决策边界，但有超过两个分类，分类不只有0和1，而是可以是0，1或2。

再看上图，这是另2个Softmax分类器可以代表的决策边界的例子，用有三个分类的数据集来训练。直觉告诉我们，任何两个分类之间的决策边界都是线性的，这就是为什么你看到，比如右图中，黄色和红色分类之间的决策边界是线性边界，紫色和红色之间的也是线性边界，紫色和黄色之间的也是线性决策边界，但它能用这些不同的线性函数来把空间分成三类。

我们来看一下更多分类的例子。
上图中左图$C=4$，因此绿色分类和Softmax仍旧可以代表多种分类之间的这些类型的线性决策边界。中间图是$C=5$类。最后一个例子右图是$C=6$。这些例子显示了Softmax分类器在没有隐藏层的情况下能够做到的事情。

当然更深的NN会有输入$x$，然后是一些隐藏单元，再到预测输出$\hat{y}$等等，你就可以学习更复杂的非线性决策边界，来区分多种不同分类。

以上这些就是NN中的Softmax层或者Softmax激活函数的作用。