深度学习笔记(2)：3.8-3.9 softmax回归

3.8 介绍：softmax 回归

softmax回归虽然叫‘回归’，但和logistic回归一样，其实是分类问题，和logistic回归不同的是， logistic回归是二分类问题，而softmax回归解决的是多分类问题，如下图所示：

假设我们需要学习器将图片分类，1表示猫，2表示狗，3表示小鸡，0表示其他。在softmax回归中，类别数C=4，输出层我们也称为softmax layer。既然是多分类问题，我们希望输出的结果是分为不同类别的概率，且希望概率和为1，如上图所示，我们希望softmax layer第一个节点输出x属于其他的概率，第二个节点输出x属于猫的概率等，输出层节点个数就是类别个数，即是一个4维向量。

softmax layer具体计算过程如下图所示：

因为希望概率和为1，所以softmax layer采用了softmax激活函数，不同于其他激活函数，它的作用就是保证概率和为1。

具体实现如上图所示：通过上一层计算得到，是一个4维向量，对的每一个元素进行指数操作(elementwise)，记为临时变量t，t也是一个4维向量，令，也是一个4维向量，具体为