一、逻辑回归与softmax函数
在逻辑回归问题中,我们使用sigmoid函数将线性模型的连续值映射到0~1的区间上,设置一定的阈值(二分类问题,大于阈值设置为1,小于阈值设置为0),从而得到某个类别的概率。如果将这个问题泛化,推广到多分类问题上(如图片的多分类),我们可以使用softmax函数将其输出单元从一个变成多个。
1.sigmoid函数
sigmoid函数是个很漂亮的S形,其作用可以将取值的范围友好的表示成[0,1],而且受异常数据的影响较小,所以我们用sigmoid函数来包装就能很好的解决模型取值范围的问题。其数学公式如下:
其图像如下图所示:
2.softmax函数
多分类问题需要得到离散的预测输出,一个简单的方法是将输出值当作预测类别是
的置信度,并将值最大的输出所对应的类别作为预测输出,即输出
。然而,这样存在两个问题。一方面,由于输出值的范围不确定,难以从直观上判断这些值的意义。另一方面,由于真实标签是离散值,这些离散值与不确定范围的属猪值之间的误差难以衡量。
softmax函数解决了以上两个问题。假设模型的输出为。对于每一个样本数据,它属于类别
的概率为: