Softmax分类器与cross entropy损失函数

1. Logistic regression模型

我们先看下logistic regression模型及损失函数。有m个样本，，。Logistic regression采用的sigmoid函数是

损失函数为：

 2. Softmax回归模型

Softmax回归用于多类分类，假设有k个分类，则

其中1/ 是为了归一化。

3. 损失函数

Logistic regression的损失函数改个形式变成

根据这个扩展的形式得到softmax的损失函数

所以softmax回归是logistic回归的一般形式。