Linear(),softmax(),CrossEntropyLoss()的一些理解

最新推荐文章于 2025-03-20 10:46:52 发布
最新推荐文章于 2025-03-20 10:46:52 发布
阅读量2.9k 收藏 17
点赞数 9
分类专栏： 行人重识别
本文为博主所有，如有问题，联系本人，欢迎指正
本文链接：https://blog.csdn.net/qq_37405118/article/details/107120830
版权

pytorch的图像分类问题
前一段时间突然迷了，最后的全连接层（FC）输出的维度对应的分类数目（Class_num）,这点是没错的，但是交叉熵损失函数公式里边是有预测概率的，必须由softmax得到，但是程序里没有看到softmax（），但是很多都会说到softmax层。后来经过查阅发现，解决办法在交叉熵损失函数里边。 是由交叉熵损失函数的结构解决。

交叉熵损失函数：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
链接: https://blog.csdn.net/c2250645962/article/details/106014693/?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-1.

动手深度学习笔记（十一）3.4. softmax回归
juluwangriyue的博客
02-11 529
动手深度学习笔记（十一）3.4. softmax回归题3. 线性神经网络3.4. softmax回归3.4.1. 分类问题3.4.2. 网络架构3.4.3. 全连接层的参数开销3.4.4. softmax运算3.4.5. 小批量样本的矢量化3.4.6. 损失函数3.4.6.1. 对数似然3.4.6.2. softmax及其导数3.4.6.3. 交叉熵损失3.4.7. 信息论基础3.4.7.1. 熵3.4.7.2. 惊异3.4.7.3. 重新审视交叉熵3.4.8. 模型预测和评估3.4.9. 小结3.4.10
带你一文透彻学习【PyTorch深度学习实践】分篇——多分类问题之交叉熵损失函数CrossEntropyLoss：Softmax分类器，One-hot；针对MNIST数据集 | 附：实例源代码
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
04-09 613
本篇分享的知识是在深度学习中针对多分类问题，该如何处理会比较好。以大家容易理解的例子引出交叉熵损失函数，并说明了Softmax的公式及其作用。此外，由浅入深，通过举简单的例子来演示损失函数。针对MNIST数据集，本文也初步说明了如何对图像进行处理。
线性回归与Softmax回归：深入理解与应用
weixin_58626337的博客
11-02 453
总而言之，线性回归和Softmax回归都是非常有用的工具，它们在应用场景和数学原理上有所区别，线性回归适用于解决回归问题，而Softmax回归适用于解决多类别分类问题，但都是常见且实用的回归算法，它们在许多实际应用中都发挥了重要的作用，通过深入理解这两种方法的原理和应用，我们可以更好地利用它们来解决实际问题。其中，线性回归和Softmax回归是两种最常见的回归方法。（4）线性回归的一个主要限制是它只能处理线性可分的问题，对于非线性问题，我们需要使用其他模型，如多项式回归、支持向量机或神经网络等。
[特殊字符] 1分钟突破｜Transformer最后两层的秘密武器：Linear和Softmax（NLP入门必看）
最新发布
qq_52099920的博客
03-20 212
在Transformer解码器末端，通过。
Transformer的linear和softmax
编码浪子的专栏
01-21 1061
线性层：将解码器的高维输出简化为一个与词汇表大小相同的低维向量，每个位置上的值代表对应词汇的可能性得分。Softmax函数：将这些得分转换成概率值，使得我们可以明确知道每个词汇被选中的可能性。这样一来，模型不仅能确定最有可能的下一个词，还能理解其他候选词的选择概率，从而更加灵活和智能地生成文本。
线性回归、softmax与分类、多层感知机
zyuPp的博客
02-13 371
做一个简单的回归预测模型的步骤和基本要素： 我们要有数据集，观察数据集的变量和标签，明确要解决的问题，分割为训练集和测试集，用于预测的标签的因素成为特征 模型，主要看我们怎么去考虑，线性回归就直接乘上w参数，例如面积和房龄 损失函数，衡量预测值和真实值之间的误差，通常会选择一个非负数作为误差，数值越小越好，这里用平方误差. 优化函数：误差最小化问题的解可以直接用公式表达，叫做解析解。上面的线性回...
Linear Regression 线性回归 & Softmax 分类模型 & 多层感知机
qq_41417206的博客
02-14 398
线性回归课后题 全连接层和输入输出形状 假如你正在实现一个全连接层，全连接层的输入形状是7×8，输出形状是7×1，其中7是批量大小，则权重参数w和偏置参数b的形状分别是____和____ 输入为X∈R7×8X∈R^{7×8}X∈R7×8，输出为Y∈R7×1Y∈R^{7×1}Y∈R7×1，权重参数为w∈R8×1w∈R^8×1w∈R8×1，则Xw∈R7×1X_w∈R^{7×1}Xw​∈R7×...
交叉熵损失与二元交叉熵损失：区别、联系及实现细节
qq_42754434的博客
07-25 2837
在机器学习和深度学习中，交叉熵损失（Cross-Entropy Loss）和二元交叉熵损失（Binary Cross-Entropy Loss）是两种常用的损失函数，它们在分类任务中发挥着重要作用。本文将详细介绍这两种损失函数的区别和联系，并通过具体的代码示例来说明它们的实现细节。
YOLOv5系列(三十七) 深度理解Binary Cross-Entropy与YOLOv5 LOSS(从二值损失基本原理到YOLOv5损失)
专注于人工智能学习，总结
12-05 2021
的目标越少，则认为结果越精确；
softmax+log_softmax理解与使用（为什么可以常用在分类交叉损失熵）
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-19 1004
转载 1）softmax softmax是一种指数归一化函数。 输入为向量，输出为值为0-1之间的向量，和为1。在分类任务中作为概率出现在交叉熵损失函数中。 import numpy as np data=np.array([0.1, 0.3, 0.6, 2.1 ,0.55]) np.exp(data)/np.sum(np.exp(data)) # softmax array([0.07795756, 0.09521758, 0.12853029, 0.57603278,
深度学习(线性回归&softmax回归)
Birdy_L_C的博客
09-27 1010
首先创建线性函数synthetic_data为 特征和目标值构造线性函数关系，接着初始化偏移量 权重（真实值）和特征矩阵，计算出目标值向量（真实值），函数构造完毕，然后开始读取数据集，采用随机小批量读取的方法（每个批量大小为batch_size），将读取的批量数据（特征和目标）记录，预测偏移量和权重大小并初始化，初始化学习率和轮数为以后优化准备，将预测的权重，偏移量和特征矩阵带入线性函数，求出预测的目标值，将预测目标值和真实值作为参数导入损失函数计算损失大小并记录，经过多次优化计算权重和偏移量误差大小。
Linear/Logistic/Softmax Regression对比
github_35304705的博客
04-09 1007
Linear/Logistic/Softmax Regression是常见的机器学习模型，且都是广义线性模型的一种，有诸多相似点，详细对比之。原文见Linear/Logistic/Softmax Regression对比。 概述 Linear Regression是回归模型，Logistic Regression是二分类模型，Softmax Regression是多分类模型，但三者都属于广义线性「...
斯坦福CS231n项目实战（三）：Softmax线性分类
红色石头的专栏
02-08 2151
我的网站：红色石头的机器学习之路 我的CSDN：红色石头的专栏 我的知乎：红色石头 我的微博：RedstoneWill的微博 我的GitHub：RedstoneWill的GitHub 我的微信公众号：红色石头的机器学习之路（ID：redstonewill） Softmax线性分类器的损失函数（Loss function)为： Li=−logesyi∑Cj=...
【深度学习】线性回归和softmax回归
qq_43801989的博客
05-25 584
线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。由于线性回归和softmax回归都是单层神经网络，它们涉及的概念和技术同样适用于大多数的深度学习模型。我们首先以线性回归为例，介绍大多数深度学习模型的基本要素和表示方法。
深度学习系列笔记02线性回归与softmax回归
三木今天学习了嘛の博客
09-19 1925
本博客介绍了线性回归和softmax回归，从数学公式到代码实现，再到高级API，更简洁地实现代码。参考书籍：《动手学深度学习V2》
动手深度学习-线性神经网络：softmax回归
qq_63974399的博客
01-12 769
因为将线性层的输出直接视为概率时存在一些问题： 一方面，我们没有限制这些输出数字的总和为1。另一方面，根据输入的不同，它们可以为负值。softmax函数正是这样做的： softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持。为了确保最终输出的概率值总和为1，我们再让每个求幂后的结果除以它们的总和。我们希望模型的输出可以视为属于类的概率， 然后选择具有最大输出值的类别作为我们的预测类。为了估计所有可能类别的条件概率，我们需要一个有多个输出的模型，每个类别对应一个输出。
softmax_linear_classifier
专栏
09-18 1729
import numpy as np %matplotlib inline import matplotlib.pyplot as pltN = 100 # number of points per class D = 2 # dimensionality K = 3 # number of classes X = np.zeros((N*K,D)) # data matrix (each row
UFO- ViT : High Performance Linear Vision Transformer without Softmax-没有Softmax的高性能线ViT
MengYa_Dream的博客
10-28 1300
论文地址：lUFO- ViT : High Performance Linear Vision Transfrmer without Softmax 1.摘要 UFO-ViT(Unit Force Operated Vision Trnasformer) 本文动机： the complexity quadratic to N is one of the major drawbacks when using traditional self-attention algorithms. .
am-softmax
12-29
### am-softmax算法原理 am-softmax是在传统softmax基础上引入角度余弦距离的一种改进版本，旨在增强不同类别之间的区分度。具体来说，在计算过程中加入了角度边距（angular margin），使得模型能够更好地拉大正样本与其他负样本间的差距[^2]。 公式表达如下： \[ J=\frac{1}{N}\sum _{i=1}^{N}-\log \frac{{e}^{\left(\cos (\theta _{y_i}+\alpha )\right)\cdot s}}{{e}^{\left(\cos (\theta _{y_i}+\alpha )\right)\cdot s}+(C−1){e}^{s}} \] 这里\( y_i \)代表第i个输入的真实标签；θ表示特征向量与权重向量间夹角；α为额外增加的角度边距参数；s是一个缩放因子用于调整最终得分分布范围；C则指代总的类别数目。 这种设计有助于提高决策边界清晰度，从而改善分类性能特别是在人脸识别等任务中有显著效果。 ### 实现方式 以下是Python环境下利用PyTorch框架实现的一个简单版am-softmax函数示例: ```python import torch.nn as nn import torch class AMSoftmaxLoss(nn.Module): def __init__(self, num_classes, feat_dim, m=0.35, s=30): super(AMSoftmaxLoss, self).__init__() self.num_classes = num_classes self.feat_dim = feat_dim self.m = m self.s = s # 初始化权重矩阵W self.W = nn.Parameter(torch.randn(feat_dim, num_classes)) def forward(self, x, labels): cos_theta = F.linear(F.normalize(x), F.normalize(self.W)) # 计算cosine相似度 one_hot = torch.zeros_like(cos_theta) one_hot.scatter_(1, labels.view(-1, 1).long(), 1) phi = cos_theta - one_hot * self.m output = self.s * phi loss = F.cross_entropy(output, labels.long()) return loss ``` 此代码片段定义了一个继承自`nn.Module`类的新模块——`AMSoftmaxLoss`，它接收数据维度、类别数量以及两个超参m和s作为初始化参数，并实现了前向传播过程中的核心逻辑。 ### 应用场景 am-softmax广泛应用于各种生物特征识别领域，比如语音验证系统中的人声辨识[^3]。由于其能够在保持较高精度的同时有效降低误判率，因此非常适合于那些对安全性要求较高的场合，如金融支付平台的身份认证环节或是智能家居设备的用户权限管理等方面。另外，在大规模图像检索系统里也能见到该技术的身影，尤其是在行人重识别(Person Re-ID)[^4]这类复杂视觉理解挑战赛上表现尤为突出。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值