softmax回归理论

        由于之前在跟北京交通大学的暑期课程,所以对这个内容有所了解。但是由于那个课程讲得太简略,而且不给实验课,这里参考了《动手学深度学习》(pytorch版)边学深度边学pytorch。

        首先是它的特点:1.softmax回归适用于分类问题。它使用softmax运算输出类别的概率分布。

2.softmax回归是一个单层神经网络,输出个数等于分类问题中的类别个数。

        书中的例子里图片有四个特征3种类别所以对每个输入计算o1,o2,o3这3个输出:

        

         接下来是softmax的神经网络图描述,他是一个单层神经网络。由于每个输出o1,o2,o3o1​,o2​,o3​的计算都要依赖于所有的输入x1,x2,x3,x4x1​,x2​,x3​,x4​,softmax回归的输出层也是一个全连接层。

 softmax运算符(softmax operator)通过下式将输出值变换成值为正且和为1的概率分布用于预测类别输出:

其中

         接着是损失函数。交叉熵适用于衡量两个概率分布的差异。

 假设训练数据集的样本数为n,交叉熵损失函数定义为

 

 

 在训练好softmax回归模型后,给定任一样本特征,就可以预测每个输出类别的概率。通常,我们把预测概率最大的类别作为输出类别。如果它与真实类别(标签)一致,说明这次预测是正确的。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值