【深度学习笔记(二)】之Softmax分类器

本文章由公号【开发小鸽】发布!欢迎关注!!!


老规矩–妹妹镇楼:

一. Softmax分类器

       用SVM损失函数得出的只是一个个的分数,还要通过对比分数来分类。那么,如果直接输出结果为分类的概率,岂不是更好?
       这里,给出了softmax分类器,直接输出分类的概率。

二.Sigmoid函数

       由于概率是在【0,1】之间,这时就需要引入sigmoid函数
       Sigmoid函数
在这里插入图片描述
       输入从负无穷到正无穷,输出在【0,1】之间。可以将得分值映射到【0,1】之间。

在这里插入图片描述

三.Softmax损失函数

(一)公式

       Softmax分类器也是用损失函数来评估,并对分类的正确与否进行调整。
       损失函数:交叉熵损失
在这里插入图片描述

(二)理解损失函数

       如何理解这个损失函数呢?现在来举个例子:
       下面是一个对猫进行分类的结果,第一列数字是得分函数得出的分数,第二列是ex后的结果,第三列是归一化概率的结果。

1. 对分数求ex

       我们要根据这个分数先分别求ex, 因为得分函数得出的分数相差并不大,我们需要将得分大的数用e的次幂拉大与其他数的差距,即分数越大,可能性越大,结果越明显。而越小的数,通过e的次幂,扩大的效果肯定不如大的分数;甚至小于0的分数,通过e的次幂缩放到可以忽略的地步。如第二列数字所示。

2. 归一化概率

       接下来就是对e的次幂后的分数进行归一化操作,如何归一化呢?
       就是用e的次幂后的三个分数,求每个分数的占三个分数的比例,即第三列数字。

3. 损失函数

       由于这次分类是错误的,猫识别为车的分数5.1要比正确分类3.2高,因此,需要损失函数来调整。注意:这里的损失函数是对正确分类cat的归一化概率0.13进行计算,通过函数-log若正确分类的概率值越接近于1,则说明分类效果很好,对应的损失函数-log也是接近于0的;若正确分类的概率越接近于0,则说明分类效果很差,对应的损失函数-log就越大

在这里插入图片描述

四. 总结

       Softmax分类器能够扩大分数的差距,即使得分函数的分数结果差别都不大,通过softmax分类器,就能够使得分数的差距进一步拉大,使得分类效果更加明显。

softmax分类器是一种激活函数,其目标是将输出的多个数值转换为多个分类结果的概率。它的工作原理如下: 1. 首先,softmax分类器接收到来自上一层神经网络的输出。这个输出是一个包含多个数值的向量。 2. 然后,softmax分类器对这个向量中的每个数值进行指数运算,使其变得非负。 3. 接着,softmax分类器对指数运算后的结果进行归一化处理。它将每个数值除以所有数值的和,使得它们的总和等于1。这样就得到了每个数值对应的分类结果的概率。 4. 最后,根据概率的大小,softmax分类器将输入的数值分配给相应的分类结果。 需要注意的是,在使用softmax分类器时,最后一层不再使用其他激活函数,因为softmax函数已经能够将输出转换为概率。保证上一层的输出与下一层的输入数值相同,以确保数据的连续性和一致性。 总结起来,softmax分类器通过对输入进行指数运算和归一化处理,将多个数值转换为对应分类结果的概率。这样可以方便地对多分类问题进行建模和预测。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [【分类器 Softmax-Classifier softmax数学原理与源码详解 深度学习 Pytorch笔记 B站刘大人(8/10)】](https://blog.csdn.net/qq_43649786/article/details/126897157)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值