为什么深度网络（vgg，resnet）最后都不使用softmax（概率归一）函数，而是直接加fc层？

最新推荐文章于 2023-10-30 11:34:07 发布
最新推荐文章于 2023-10-30 11:34:07 发布
阅读量1k 收藏 3
点赞数
分类专栏： python 文章标签： pytorch 深度学习 resnet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43374694/article/details/132588508
版权

这个问题很简单，并不是没有使用softmax，而是没有显式使用softmax。

随着深度学习框架的发展，为了更好的性能，部分框架选择了在使用交叉熵损失函数时默认加上softmax，这样无论你的输出层是什么，只要用了nn.CrossEntropyLoss就默认加上了softmax。不仅是Pytorch，国内的飞桨PaddlePaddle2.0等框架也是这样。但在更早的一些版本，默认是不隐式添加softmax的，所以会有一部分教程/资料，要求在撰写对应代码时手动添加softmax。当然，自己的框架是否需要手动在输出层添加softmax，推荐看对应的API文档。道听途说不一定可取，毕竟一个softmax可以做分类，俩softmax搞不好就不收敛了
在这里插入图片描述

壹柒伍_
关注
专栏目录
深度学习100例-卷积神经网络（VGG-16）识别海贼王草帽一伙 | 第6天
“365天深度学习训练营”报名进行中～
12-21 1万+
文章目录一、前期工作1. 设置GPU2. 导入数据3. 查看数据二、数据预处理1. 加载数据2. 可视化数据3. 再次检查数据4. 配置数据集5. 归一化三、构建VGG-16网络1. 官方模型（已打包好）2. 自建模型3. 网络结构图四、编译五、训练模型六、模型评估 一、前期工作 本文将实现海贼王中人物角色的识别。 我的环境： 语言环境：Python3.6.5 编译器：jupyter notebook 深度学习环境：TensorFlow2 来自专栏：【深度学习100例】 1. 设置GPU 如果使用的是C
计算机视觉Baseline网络串烧（AlexNet、NIN、VGG、GoogLeNet、Inception、ResNet、InceptionResNet、DenseNet、SENet、ResNeXt）
Pleadge的博客
09-09 1776
计算机视觉基础网络核心总结
KL散度和交叉熵有什么关系？logits是什么？知识蒸馏损失函数如何选择？为什么深度网络（vgg，resnet）最后都不使用softmax函数，而是直接使用fc层的输出作为output？
ykn37的博客
03-27 1937
KL散度和交叉熵有什么关系？logits是什么？知识蒸馏损失函数如何选择？为什么深度网络（vgg，resnet）最后都不使用softmax函数，而是直接使用fc层的输出作为output？
理解softmax函数
devil_son1234的博客
06-02 532
做过多分类任务的同学一定都知道softmax函数。softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 下面为大家解释一下为什么softmax是这种形式。 首先，我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。 softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。 1）将预测结果转化为非负数 下图为y=exp(x）的图像...
Softmax函数，损失函数，交叉熵，softmax损失函数详解
jiao_mrswang的博客
07-30 3753
Softmax函数： softmax用于多分类过程中，二分类一般是S型函数，S型函数可以看做是softmax函数的特殊形式！ softmax的数学公式： 例子： 假设数组v=[3,1,-3],则数组v中每个元素经过softmax()的值如下： 以上是softmax()函数的详解！！！ 损失函数： 衡量期望值与实际值之间的误差的函数。深度学习的目的是最小化损失函数！因为期望值与...
SVM & FC+Softmax 分类
qq_42283621的博客
09-07 1045
支持向量机是一种二分类模型算法，它的基本模型是定义在特征空间的间隔最大的线性分类器，说白了就是在中间画一条线，然后以 “最好地” 区分这两类点。以至如果以后有了新的点，这条线也能做出很好的分类。W每列代表一个SVM分类器，n个类别共n个SVM分类器，每个SVM分类器输出该样本属于某一个类的概率（即每个SVM均做二分类）原则上每个样本属于每个类别的概率均属于[0, 1]且无和为1的限制。Y按行进行softmax，即每个样本属于各个类别的概率和为1。样本数量b，类别数量n，特征长度d。
Pytorch 中使用nn.CrossEntropyLoss的注意点（不需要额外的softmax）
weixin_44607838的博客
06-27 6040
起因 最近在使用pytorch训练模型时，出现了loss下降非常缓慢的问题，想了很久都没有发现问题出在哪里。
Softmax分类器及交叉熵损失（通俗易懂）
Peyzhang的博客
06-23 7668
简单的说,softmax函数会将输出结果缩小到0到1的一个值，并且所有值相加为1，cross-entropy一般再softmax函数求得结果后再用，
基于深度学习的人脸识别系统：卷积神经网络实现(VIPLFaceNet、VGGNet、Xception、ResNet50、ResNet18)、AM-Softmax损失
あずにゃん梓喵的博客
08-09 1702
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） train.py #!/usr/bin env python from keras.callbacks import EarlyStopping, ReduceLROnPlateau, CS...
深度学习：经典网络模型lenet,alexnet,vggnet,googlenet,Resnet,densenet可解释性
热门推荐
weixin_41108334的博客
11-07 1万+
在CNN网络结构的进化过程中，出现过许多优秀的CNN网络，如：LeNet，AlexNet，VGG-Net，GoogLeNet，ResNet,DesNet. 提出年份 主要方向：网络加深，增强卷积模块 1、LeNet： LeNet诞生于1998年，网络结构比较完整，包括卷积层、pooling层、全连接层。被认为是CNN的鼻祖。 输入32*32*1 卷积层3个：卷积的主要目的是...
GoogleNet、AleXNet、VGGNet、ResNet等总结
小麦粒的Python
08-11 1万+
ILSVRC(ImageNet大规模视觉识别挑战赛)每年都不断被深度学习刷榜，随着模型变得越来越深，Top-5的错误率也越来越低，目前降低到了3.5%附近，而人类在ImageNet数据集合上的辨识错误率大概在5.1%，也就是目前的深度学习模型识别能力已经超过了人类。
NNDL 实验六 卷积神经网络（5）使用预训练resnet18实现CIFAR-10分类
m0_51799083的博客
11-11 1273
NNDL 实验六 卷积神经网络（5）使用预训练resnet18实现CIFAR-10分类
pytorch/transformers 最后一层不加激活函数的原因
01-06 1912
bert最后一层为什么没有激活函数softmax或者sigmoid？
resnet(4)------全连接层与softmax
skyllerone的博客
12-10 6233
如果不用指数函数的话，其实仓鼠得分和白面包的得分是差不多的，但指数增长的特性就是，横轴变化很小的量，纵轴就会有很大的变化。所以，从1.9变化到2.1，经过指数的运算，两者的差距立马被的拉大了。这个算法又是如何将神经网络推理的数值，转换为一个类别的分类的呢？的关系，我们知道卷积是对图像的局部区域进行连接，通过卷积核完成的是感受野内的长宽方向以及channel 方向的数据连接。它的每次完成的是所有channel方向的连接，它看到的是。仓鼠的得分是2.1，白面包的得分是1.9，猫的得分是0.1。
计算机视觉 - 07 Softmax、微调、resnet、信息熵
seven_zhouyan的博客
02-29 688
1、Softmax（逻辑回归） 参考源： https://zhuanlan.zhihu.com/p/41784404 https://blog.csdn.net/bitcarmanlee/article/details/82320853 https://blog.csdn.net/weixin_36411839/article/details/81835552 vgg16: https://www...
现代卷积神经网络（ResNet）
qq_51957239的博客
03-08 3156
残差网络（Residual Network，简称 ResNet）是由微软研究院于 2015 年提出的一种深度卷积神经网络。它的主要特点是在网络中添加了“残差块”（Residual Block），有效地解决了深层网络的梯度消失和梯度爆炸问题，从而使得更深的网络结构可以训练得更好。
Pytorch入门（五）使用ResNet-18网络训练常规状态下的CIFAR10数据集
一个非常Cool的人
06-06 5769
本文介绍了如何使用Pytorch+ResNet-18+CIFAR-10进行深度学习训练，并使用训练好的权重进行预测，ResNet是一个非常优秀的神经网络，ResNet 在图像分类任务中表现出色。
深度学习-案例
最新发布
m0_71624701的博客
10-30 38
tf.get_variable 函数和tf.Variable函数最大的区别在于前者的变量名称是一个必填的参数，而后者的变量名称则是一个可选的参数，通过name="v"的形式给出。【以上神经网络存在的不足之处：①训练的数据是由tensorflow封装的MNIST类进行处理，其过程过于简便，然而许多模型的训练中数据的处理并不会如此简便②训练完之后的模型没有保存起来，每次调用都得重新训练一遍③声明了太多的变量，变量过多，代码过于繁杂】值得注意的是，在命名空间内创建的变量的名称都会带上命名空间名作为前缀。
图像分割算法
m0_52190506的博客
03-23 1万+
我的毕业论文是做图像分割的，至于为啥要做这个，千万别问我，因为我自己都不知道，更别提做它的意义了，如果非要说，那就是单纯的为了毕业！ 面对毕业写文章就是为了记录一下整个过程中我遇到的疑问，以及经过各种资料查找得到的答案，如果大家也和我有同样的疑问，而我刚好也能帮到你，那可就真太让人开心了！（基础不是很好可能在理解别人的回答时产生了歧义，如有错误还请指正） 图像处理和计算机视觉之间的区别 我当时选题面临的第一个 图像处理技术重点在于处理，而计算机视觉重点在于对图像的理解 ...
VGG16softmax分类器数据导出代码
07-28
下面是一个示例代码，用于使用VGG16模型和softmax分类器对图像进行分类，并导出分类结果的数据。 ```python import numpy as np from keras.applications.vgg16 import VGG16, preprocess_input from keras.preprocessing import image # 加载预训练的VGG16模型 model = VGG16(weights='imagenet', include_top=True) # 读取图像并进行预处理 img_path = 'path_to_your_image.jpg' img = image.load_img(img_path, target_size=(224, 224)) x = image.img_to_array(img) x = np.expand_dims(x, axis=0) x = preprocess_input(x) # 使用VGG16模型进行预测 features = model.predict(x) # 导出预测结果的数据 np.savetxt('output.csv', features, delimiter=',') ``` 在上面的代码中，需要替换`path_to_your_image.jpg`为你要分类的图像的路径。代码中使用Keras库来加载预训练的VGG16模型，并对输入图像进行预处理。然后，通过调用`model.predict()`方法，可以获取图像在模型中的特征表示。最后，使用`np.savetxt()`函数将预测结果的数据保存到名为"output.csv"的文件中。 请注意，这段代码仅适用于使用Keras库加载VGG16模型的情况，如果你使用的是其他深度学习框架或方法加载VGG16模型，则需要相应地修改代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值