【深度学习笔记】Softmax 回归

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与 deeplearning.ai 联合出品，主讲人是吴恩达 Andrew Ng 教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：

神经网络和深度学习 - 网易云课堂

也欢迎对神经网络与深度学习感兴趣的网友一起交流 ~

目录

1 Softmax 激活函数

2 Softmax 分类器

---

1 Softmax 激活函数

        对于分类问题，如果有多个分类结果，那么 Logistic 回归就不再适用了。Softmax 回归（Softmax Regression）是 Logistic 回归的一般形式，可以用于区分多个类别的情形，不只是两个分类。

        假设有一个图片分类问题，你想要区分小猫、小狗、小鸡，不属于这三种图片的则归于其他。

         用 C 表示类别的数量，分类器输出层包含的神经元数量应该等于 C，输出层每个神经元的输出表示该类别的概率值，并且所有输出概率之和应等于 1.

        为了做到这一点，你需要使用 Softmax 激活函数，Softmax 激活函数首先对 z 值进行指数运算，得到非负数，然后作归一化处理。

 

        相比其他激活函数，Softmax 激活函数的特殊之处在于，它的输入是一个 Cx1 维的向量，并且它的输出也是一个 Cx1 维的向量。

2 Softmax 分类器

        实际上，Softmax 回归是 Logistic 回归的推广，如果分类结果恰好为 2，那么 Softmax 回归就变回到了 Logistic 回归（由于输出概率之和为 1，所以 Softmax 分类有一个输出节点是冗余的）。

        

 

        Softmax 回归在单个样本上的损失函数定义为

当 yj = 1, j ∈ {0, 1, 2, ... , C-1} 时，其他分量为 0，因此最小化损失函数等价于最大化 log(\hat{y_{j}})，即最大化 \hat{y_{j}}，又由于 \hat{y_{j}} 最大值为 1，所以优化算法会尽可能让 \hat{y_{j}} 接近 1，也就是接近 yj .

 

 

Softmax 回归在训练集上的代价函数定义为