【CS231n】Softmax浅谈 + Softmax代码实现

最新推荐文章于 2024-08-13 10:48:27 发布
最新推荐文章于 2024-08-13 10:48:27 发布
阅读量1.2k 收藏 8
点赞数
分类专栏： CS231n 文章标签： Softmax Softmax微分 Softmax代码实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/giftedpanda/article/details/104298806
版权
本文深入探讨了Softmax分类器，它作为SVM的改进，通过归一化的对数概率提供更直观的解释。文章对比了Softmax与SVM的区别，并详细介绍了交叉熵损失函数。此外，还提供了详细的代码实现，包括数据预处理、计算损失和梯度，并分析了向量化计算的优势。
摘要由CSDN通过智能技术生成

1. Softmax

1.1 Softmax概要

        Softmax分类器可以认为是在SVM分类器的基础上做了一些改进，SVM的输出为对于一张image在各个类别上面的评分，因为没有明确的参照，所以很难直接解释。而Softmax则不同，Softmax将对于一张image在各个类别上面的评分看作为归一化的对数概率，概率给了我们明确的参照，我们可以认为这张image应该认为是概率最高所对应的类别。

1.2 Softmax VS SVM

    SVM认为只要在正确分类上面的得分高出其它类别Δ就不会对损失产生任何贡献，而Softmax却认为在概率归一化以后在正确类别上面的概率大于其它类别上面的概率。

   SVM鼓励我们在正确类别上面的得分高出其它类别的得分Δ，Softmax鼓励我们在正确类别上的概率（归一化后）趋于1。

2. Loss Fuction

2.1 cross-entropy loss

                        {\color{Red} }L_i = -log(\frac{e^{f_{y_i}}}{\sum_{j} e^{f_j}})

2.2 calculus

2.2.1 当 j == yi :  

                                    \{-log(\frac{e^{f_{y_i}}}{\sum_{j} e^{f_j}}) \}^{'}

                              = - \frac{\sum _j e^{f_j}}{e^{f_{y_i}}}(\frac{e^{f_{y_i}}}{\sum _j e^{f_j}})^{'}

                              = - \frac{\sum_j e^{f_j}}{e^{f_{y_i}}}\frac{e^{f_{y_i}}*\sum_j e^{f_j} -e^{f_{y_i}}*(\sum_j e^{f_{y_j}})^{'}}{(\sum_j e^{f_j})^2}

                              = - \frac{\sum_j e^{f_{j}} - e^{f_{y_i}}}{\sum _j e^{f_j}}

                             =\frac{e^{f_{y_i}}}{\sum_j e^{f_{j}}} -1

2.2.2 当 j != yi

                                 \{-log(\frac{e^{f_{y_i}}}{\sum_{j} e^{f_j}}) \}^{'}

                         = - \frac{\sum _j e^{f_j}}{e^{f_{y_i}}}(\frac{e^{f_{y_i}}}{\sum _j e^{f_j}})^{'}

                         = - \frac{\sum _j e^{f_j}}{e^{f_{y_i}}} \frac{0 - e^{f_{y_i}}*(\sum_j e^{f_j})^{'}}{(\sum_j e^{f_j})^2}

                         = \frac{e^{f_j}}{\sum_j e^{f_j}}

3. 代码实现

github：https://github.com/GIGpanda/CS231n

代码由两个文件组成，一个叫softmax.py, 另一个也叫softmax.py

3.1 softmax.py(整体框架)

3.1

最低0.47元/天 解锁文章
我是一只计算鸡
关注
专栏目录
斯坦福计算机视觉与深度学习CS231n之Softmax图像多分类
IpyVariable的博客
09-21 99
这些框架提供了内置的Softmax函数和交叉熵损失函数，以及自动求导和优化算法等功能，使得实现和训练Softmax分类器更加方便和高效。在本文中，我们将详细介绍Softmax分类器的原理，并提供相应的源代码示例。它的基本原理是将每个类别的得分转化为概率分布，使得所有类别的概率之和为1。然后，我们将这些指数得分除以所有类别得分的总和，得到每个类别的概率。在上述代码中，我们首先通过将每个样本对应类别的概率减去1来计算Softmax函数对得分的梯度。最后，我们将所有样本的损失值求和并除以样本数量，得到平均损失。
cs231n作业（三）softmax分类
wjp_ctt的博客
10-14 690
一、作业说明 CS231n的第三次作业，要求写一个基于softmax的多分类程序，实现cifar10的多分类功能，程序中应当体现损失函数计算、梯度计算、交叉验证选择参数、权重可视化等功能。 本次作业与第二次作业的基于svm分类要求基本相同，唯一区别在于惩罚函数用的是softmax函数。 二、背景知识 损失函数                                        ...
cs231n作业——softmax
qq_42186444的博客
09-09 1043
cs231n作业——softmax cs231ncs231n作业——softmax1.基础知识2.使用循环进行求loss和求导3.向量化进行求导和loss 1.基础知识 Inputs: - W: A numpy array of shape (D, C) containing weights. - X: A numpy array of shape (N, D) containing a minibatch of data. - y: A numpy array of shape (N,) contain
机器学习代码3-softmax回归的完整代码
最新发布
xuhoule2007的博客
08-13 703
"""下载Fashion-MNIST数据集，然后将其加载到内存中"""# 使用PyTorch内置的优化器和损失函数。"""训练模型一个迭代周期（定义见第3章）"""# 使用定制的优化器和损失函数。"""计算在指定数据集上模型的精度"""# 训练损失总和、训练准确度总和、样本数。# 使用lambda函数捕获参数。"""训练模型（定义见第3章）""""""使用4个进程来读取数据""""""计算预测正确的数量""""""小批量随机梯度下降""""""在n个变量上累加""""""在动画中绘制数据"""
CS231n课程学习笔记（三）——Softmax分类器的实现
小白的笔记本
02-27 1万+
翻译笔记：https://zhuanlan.zhihu.com/p/21930884?refer=intelligentuni 参考资料：http://blog.csdn.net/pjia_1008/article/details/66972060 作业讲解 求损失Loss 线性模型：y=Wxy=Wxy=Wx Softmax：Si=eyi∑jeyjSi=eyi∑jeyj\disp...
softmax的实现代码，及其实现过程中出现的错误
coder
09-25 4231
在完成ML课程的第三个project的时候，出现了一个错误，我完成使用tensorflow直接进行softmax的时候，发现出现了结果的准确率有0.81，但是在自己写的代码里面出现的结果，居然只有0.5的准确率，而且在我输出它对每个样本完成的概率的计算，发现出来的结果都是0.5，这都是啥嘛，，，气死我了，在tensorflow和自己写的代码里面的计算代价的代码都是一样的，仅仅的差别就是梯度下降是t...
cs231n作业：assignment1 - softmax
Fangzh的技术博客
09-27 1361
个人博客：fangzh.top，欢迎来访 softmax是最常用的分类器之一。 softmax和svm都是常用的分类器，而softmax更为常用。 具体可以参考我这篇的最后，ng老师有讲，softmax 前面数据集的都跟SVM的一样。 直接进入loss和grads推导环节。 Li=−log(efyi∑jefj)L_i = -log(\frac{e^{f_{y_i}}}{\sum_j e^{f_...
cs231n-svm和softmax
技术成长笔记
02-24 2563
cs231n-svm和softmax 定义了svm和softmax的损失函数,并且结合线性分类器进行讲解,举了几个例子,做了一些对比
全球名校课程作业分享系列(6)--斯坦福计算机视觉与深度学习CS231n之神经网络细解与优化尝试
寒小阳
02-07 9602
课程作业原地址：CS231n Assignment 1 作业及整理：编写：@土豆 && @郭承坤 && @寒小阳 时间：2018年2月。 出处：http://blog.csdn.net/han_xiaoyang/article/details/79278882 待折腾的数据集 关于神经网络你起码应该知道的 所谓的前向传播 一个神经元的本事 强大的层状神经元 不废话了看代码
Deeplearning4j 快速入门
GitChat
07-02 6416
课程亮点 机器学习经典案例基于 DL4J 的实现 Spark 分布式场景下的模型训练及调优 多 GPU 环境下的并行建模 迁移和强化学习的模型训练 搭建在线服务环境实战演练 本课程是关于 Eclipse Deeplearning4j 的基础课程。Deeplearning4j 是基于 Java/JVM 的深度学习开源库，课程内容涵盖了 Deeplearning4j 生态圈中核心框架的使用（如 N...
人脸识别最低像素_深入浅出人脸识别技术
weixin_36488616的博客
01-30 4190
在深度学习出现后，人脸识别技术才真正有了可用性。这是因为之前的机器学习技术中，难以从图片中取出合适的特征值。轮廓？颜色？眼睛？如此多的面孔，且随着年纪、光线、拍摄角度、气色、表情、化妆、佩饰挂件等等的不同，同一个人的面孔照片在照片象素层面上差别很大，凭借专家们的经验与试错难以取出准确率较高的特征值，自然也没法对这些特征值进一步分类。深度学习的最大优势在于由训练算法自行调整参数权重，构造出一个准确率...
cs231n_Softmax
DCGJ666的博客
04-16 286
Softmax作业 Softmax原理 softmax classifier(Multinomial Logistic Regression)。其中softmax函数的表达式为P(Y=k∣X=xi)=esk∑jesjP(Y=k|X=x_i)=\frac{e^{s_k}}{\sum_j{e^{s_j}}}P(Y=k∣X=xi​)=∑j​esj​esk​​其中s=f(xi;W)s=f(x_i;W)s=f(xi​;W)由公式可知当预测越准确时PPP越大，因此损失函数为Li=−logP(Y=yi∣X=xi)=−
Stacked Autoencoders
freeliao的专栏 在路上奔跑。。。
02-21 7873
博文内容参照网页Stacked Autoencoders，Stacked Autocoders是栈式的自编码器（参考网页Autoencoder and Sparsity和博文自编码与稀疏性），就是多层的自编码器，把前一层自编码器的输出（中间隐藏层）作为后一层自编码器的输入，其实就是把很多自编码器的编码部分叠加起来，然后再叠加对应自编码器的解码部分，这样就是一个含有多个隐含层的自编码器了。本博文
cs231n作业，assignment1-softmax详解
qq_24906797的博客
04-20 1574
softmax 总公式L=−1Nlog⁡∑(esyi∑jesj)+0.5×λ∣∣W∣∣L =-\frac{1}{N} \log \sum{\left( \frac { e ^ { s_ { y _ { i } } } } { \sum _ { j } e ^ { s _ { j } } } \right)}+0.5\times\lambda||W||L=−N1​log∑(∑j​esj​esyi...
【深度学习】cs231n计算机视觉 Softmax分类器
froot的博客
01-13 466
【深度学习】cs231n计算机视觉 Softmax分类器
cs231n学习之路：3. softmax求导
我的博客有点东西
08-14 685
本篇博客承接上文，主要介绍softmax的求导和为啥在线性分类器的self.loss函数中，求导部分是那样写的。 原理 softmax公式： ai=ei∑jeja_i = \frac{e^i}{ \sum\limits_{j} e^j} ai​=j∑​ejei​ 交叉熵公式： loss=−∑kyk×log(ak)loss = -\sum\limits_{k} y_k \times log(a_k)...
cs231n assignment1 Softmax classifier
likyoo的博客
01-22 428
首先，对softmax loss 有一个简单的理解 Softmax loss =                   对参数W求导   至于推导过程，李弘毅老师的课程中在讲 logistic regression 的时候大概讲过类似的推导过程：   下面是代码部分： 数据加载及预处理 import random import numpy as np fro...
CS231N softmax
VictorLee
09-28 475
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/stalbo/article/details/79379078 翻译笔记：https://zhuanlan.zhihu.com/p/21930884?refer=int...
深度学习VGG模型核心拆解
热门推荐
CSDN人工智能
01-09 3万+
如今深度学习发展火热，但很多优秀的文章都是基于经典文章，经典文章中的一句一词都值得推敲和分析。此外，深度学习虽然一直被人诟病缺乏足够令人信服的理论，但不代表我们不能感性分析理解，下面我们将对2014年夺得ImageNet的定位第一和分类第二的VGG网络进行分析，在此过程中更多的是对这篇经典文章的感性分析，希望和大家共同交流产生共鸣，如果有理解不到位的也真诚期待指出错误。 Simonyan,
CS231n（Spring 2019）Assignment 1 - Softmax
嫉妒的虚荣
07-17 277
Preprocessing def get_CIFAR10_data(num_training=49000, num_validation=1000, num_test=1000, num_dev=500): """ Load the CIFAR-10 dataset from disk and perform preprocessing to prepare it for the linear classifier. These are the same steps as we u
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值