Softmax回归

广义线性模型

  符号指数族分布的一般模型就是广义线性模型，由广义线性模型可以推导出线性回归、logistic回归、softmax回归等线性模型，
  链接https://zhuanlan.zhihu.com/p/22876460（说实话没怎么看懂，有兴趣的可以了解一下）

---

Softmax回归

  logistic回归只能输出0和1，一般来说只能进行二分类问题，但是用one-vs-all的技巧也能进行多分类，softmax算是logistic回归的推广，它能直接处理多分类问题
  softmax函数，或称归一化函数，是逻辑函数的一种推广，它能将一个含任意实数的K维向量压缩到另一个K维实向量中，使得每一个元素范围都在（0，1）之间，并且所有元素的和为1，这样就可以联系到概率上进行多分类问题的求解
  softmax函数：
        
  可以推导出softmax的输出结果y对于它的输入数据z的导数

  用交叉熵来定义误差函数，其中t是实际概率

  损失函数对输入数据z的导数推导如下

这个结果和逻辑回归的交叉熵损失函数的求导结果是一样的