Softmax分类器

在前面我们已经讲了得分函数和损失函数,如果我们将类别的得分转换成概率的形式,则会更加直观。
首先介绍一下sigmoid函数:
在这里插入图片描述
sigmoid函数可以将输入的一个实数映射到0——1区间上。从图中我们可以看到自变量X的取值范围为正无穷到负无穷的一切实数,Y的取值范围是从0到1的。那么任意的一个X1我们都可以得到一个在[0,1]上的Y1,也就是我们可以把所有的值都压缩到0到1这个区间内,结合之前的得分函数,一个输入对于每一个类别的得分X,我们都可以把这个得分映射到[0,1]区间内,也就是把我们的得分数值转成了相应的概率值。
下面介绍一下softmax分类器:
softmax损失函数:
在这里插入图片描述
其中在这里插入图片描述被称为softmax函数。

下面我们介绍一下分类器最终的LOSS值是怎么计算的:

第一步:对应于一个输入计算出它属于每种类别的得分数值。
第二部:利用sigmoid函数把所有的得分值映射成一个概率值。
第三部:对最终正确分类所占的概率求一个log值再取负号就。
在这里插入图片描述
我们利用这个图片具体介绍一下计算过程:
对于前面的小猫的图片输入,最终得出是三种类别的得分,从图中我们可以看到三个得分之间的差值其实很小,区分并不明显,所以这里我们进行一个值域的映射。因为我们需要他们之间的差异更大,这样我们就可以很轻松的分辨出来这个输入到底是什么。
在这里插入图片描述
对于e^x这个函数来说,越大的值映射完成之后越大,越小的值映射完之后也就越小。值域映射完成之后可以看到三种类别之间的差异更明显了分别为24.5、164.0、0.18。这一步就是在这里插入图片描述
在我们得到这个得分值之后,我们需要得到一个概率值,这里我们想要得到的三个概率和为1,简单进行一个规划,就是用每一个得分除以总的得分,最后得到概率分别为0.13、0.87、0。这一步就是在这里插入图片描述
下面的求和部分就是进行规划的过程。
现在我们得到了三种类别的概率值,从前一篇文章我们可以知道正确分类的概率越大损失函数值越小,正确分类的概率越小则损失函数的值应该越大,当正确分类的概率为1时,也就是分类结果完全正确的时候我们的损失函数值应该为0。
这里我们先来分析一下log函数:
在这里插入图片描述
从图中我们可以看到当X的值为1时,Y的取值为0,而当X的取值越小的时候这个Y的绝对值也就越大,所以log函数满足了我们这个要求,由于X在[0,1]中取值的时候,Y的值为负数,所以我们需要的是Y的绝对值,这里在log前面加上一个负号,log内的概率为正确分类的概率值,当正确分类的概率越小也就是分错了这时损失函数值也就越大。(神经网络的最后一层)

  • 29
    点赞
  • 135
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值