最大似然损失与最小化交叉熵损失的异曲同工之妙

一、逻辑回归与softmax函数

在逻辑回归问题中，我们使用sigmoid函数将线性模型的连续值映射到0~1的区间上，设置一定的阈值（二分类问题，大于阈值设置为1，小于阈值设置为0），从而得到某个类别的概率。如果将这个问题泛化，推广到多分类问题上（如图片的多分类），我们可以使用softmax函数将其输出单元从一个变成多个。

1.sigmoid函数

sigmoid函数是个很漂亮的S形，其作用可以将取值的范围友好的表示成[0,1]，而且受异常数据的影响较小，所以我们用sigmoid函数来包装就能很好的解决模型取值范围的问题。其数学公式如下：

其图像如下图所示：

2.softmax函数

多分类问题需要得到离散的预测输出，一个简单的方法是将输出值当作预测类别是的置信度，并将值最大的输出所对应的类别作为预测输出，即输出。然而，这样存在两个问题。一方面，由于输出值的范围不确定，难以从直观上判断这些值的意义。另一方面，由于真实标签是离散值，这些离散值与不确定范围的属猪值之间的误差难以衡量。

softmax函数解决了以上两个问题。假设模型的输出为。对于每一个样本数据，它属于类别的概率为：