【Pytorch】F.normalize计算理解

最新推荐文章于 2025-03-02 19:35:32 发布
最新推荐文章于 2025-03-02 19:35:32 发布
阅读量5.5w 收藏 111
点赞数 56
分类专栏： pyg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lj2048/article/details/118115681
版权

PyTorch L2范数 归一化 torch.nn.functional 张量处理
关键词由CSDN通过智能技术生成
本文介绍了PyTorch中的torch.nn.functional.normalize函数，该函数用于对张量进行L2范数归一化。通过指定的维度（dim）对数据进行处理，确保每一行或每一列的元素除以其对应范数，从而实现单位化。举例说明了dim为0时的操作，解释了其计算过程。参考了官方文档和其他相关资源，有助于深入理解该函数的使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、动机

最近多次看到该方法出现，于是准备了解一下，搜了后发现原来是所谓的L2 norm计算

2、简介

函数定义

torch.nn.functional.normalize(input, p=2.0, dim=1, eps=1e-12, out=None)

功能：将某一个维度除以那个维度对应的范数(默认是2范数)。

使用：

F.normalize(data, p=2/1, dim=0/1/-1) 将某一个维度除以那个维度对应的范数(默认是2范数)

        data:输入的数据（tensor）

        p:L2/L1_norm运算

        dim:0表示按列操作，则每列都是除以该列下平方和的开方；1表示按行操作，则每行都是除以该行下所有元素平方和的开方

3、举例

 

 最后dim=0，是1/根号下1平方+1平方,2/根号下2平方+2平方，3/根号下3平方+3平方,所以都是0.7071

4、参考

官方学习手册

torch.nn.functional.normalize()函数解读

torch.nn.functional.normalize详解

理解PyTorch中维度的概念

【零基础入门】一篇弄懂model.train()和model.eval()的区别
十二月的猫
03-10 883
在深度学习中，PyTorch 的 model.train() 和 model.eval() 是控制模型行为的关键模式，直接影响训练和推理结果。model.train() 启用 Dropout 和 Batch Normalization 的训练特性，引入随机性和数据依赖性；而 model.eval() 则禁用这些特性，确保输出稳定。理解并正确使用这两种模式，是优化模型性能和保证结果一致性的基础。本文将通过实例详细解析它们的区别与应用，助你彻底掌握这一重要知识点。
PyTorch笔记9-Batch Normalization
u014532743的博客
11-06 2万+
本系列笔记为莫烦PyTorch视频教程笔记 github源码 reference1: 网易吴恩达 DL 课程 reference2: 知乎关于 BN 讨论 概要我们知道 normalize input（归一化输入）可以加速神经网络的训练，那我们是否可以 normalize activation function 并 speed up 网络训练呢，这就是 Batch Normaliz
深度学习pytorch之4种归一化方法（Normalization）原理公式解析和参数使用
一个AI从业者的博客
03-02 1725
**归一化**（Normalization）是提升模型性能、加速训练的重要技巧。归一化方法可以帮助减少梯度消失或爆炸的问题，提升模型的收敛速度，且对最终模型的性能有显著影响。本文将以 PyTorch 为例，介绍4种常见的归一化方法：BatchNorm、Layer Norm、Instance Norm、Group Norm，并详细讲解它们的原理和公式。
【Pytorch】F.normalize学习笔记
qq_41356707的博客
12-09 6770
pytorch中normalize的维度(dim)分析
PyTorch学习笔记：F.normalize——数组归一化运算
qq_50001789的博客
02-10 1万+
PyTorch学习笔记：F.normalize——数组归一化运算
F.normalize学习计算
Lily的博客
11-07 2825
F.normalize学习计算
【Python--torch.nn.functional】F.normalize用法 + 代码说明
Danger的博客
02-15 4387
【Python--torch.nn.functional】F.normalize用法 + 代码说明
pytorch classification的.py_pytorch_pytorch分类_MNISTpytorch_
10-03
在PyTorch中实现MNIST手写体分类是一项基础任务，它可以帮助初学者理解深度学习的基本原理和PyTorch框架的使用。MNIST数据集包含了0到9的手写数字图像，是许多入门级机器学习和深度学习教程的首选数据集。下面我们将...
怎么理解Pytorch中CrossEntropyLoss()
m0_46306264的博客
06-04 264
crossEntroyLoss的例子，更容易理解
PyTorch源码解读之torchvision.transforms
热门推荐
AI之路
01-25 4万+
PyTorch框架中有一个非常重要且好用的包：torchvision，该包主要由3个子包组成，分别是：torchvision.datasets、torchvision.models、torchvision.transforms。这3个子包的具体介绍可以参考官网：http://pytorch.org/docs/master/torchvision/index.html。具体代码可以参考github：
《探索PyTorch计算机视觉：原理、应用与实践》：此文为AI自动生成
zheng_ruiguo的专栏
12-24 1484
在本文中，我们深入探讨了 PyTorch 在计算机视觉领域的重要概念、应用场景、实践案例以及优势和挑战。PyTorch 以其简洁易用的语法、动态计算图的特性和强大的 GPU 加速能力，为计算机视觉任务提供了高效且灵活的解决方案，使得研究者和开发者能够更加便捷地实现图像分类、目标检测、图像生成等复杂任务，推动了计算机视觉技术在各个领域的广泛应用和快速发展。
【笔记】F.normalize（torch.nn.functional） 和 torch.norm：前者在后者求向量L2范数的基础上，增加了标准化
nyist_yangguang的博客
08-21 1314
在维度操作方面，两者的操作一致。
【torch笔记】F.normalize（torch.nn.functional） 和 torch.norm
u014128622的博客
10-18 1144
torch 归一化
【pytorch】Normalization层
weixin_43468458的博客
03-02 792
一、两个概念 独立同分布（independent and identically distributed） 独立同分布的数据可以简化常规机器学习模型的训练、提升机器学习模型的预测能力 白化（whitening） 去除特征之间的相关性 —> 独立； 使得所有特征具有相同的均值和方差 —> 同分布。 ...
ARC094F Normalization
ShadyPi的IT笔记
09-10 472
原题链接：https://beta.atcoder.jp/contests/arc094/tasks/arc094_d Normalization Problem Statement You are given a string SSS consisting of ‘a’,’b’ and ‘c’. Find the number of strings that can be possib...
Pytorch框架学习（16）—— Normalization
aidanmo的博客
02-27 628
文章目录1. Why Normalization2. Batch Normalization3. Layer Normalization4. Instance Normalization5. Group Normalization 1. Why Normalization 因为在深度学习当中存在ICS（Internal Covariate shift）问题：数据尺度/分布异常，导致训练困难 从公...
pytorch常用normalization函数
weixin_45182460的博客
04-02 1465
pytorch常用normalization函数 归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2019年）； 将输入的图像shape记为[N...
【代码详解】features = F.normalize(features, p=2, dim=1)的原理是什么？
风口IT猪的成长录
04-30 1424
这在机器学习和深度学习中非常常见，特别是在嵌入空间和对比学习中，因为它可以帮助消除特征尺度的影响，使得向量的比较更加公平。是PyTorch中的一个函数，用于对特征向量进行L2范数（Euclidean norm）归一化。，但保留了原始特征方向的信息，这对许多机器学习算法（尤其是那些依赖于距离度量的）是有益的。或欧几里得归一化，其目的是将特征向量的长度（或模）缩放为1，而保持向量的方向不变。对于dim=1的情况，i是样本索引，j是特征索引，而k遍历所有的特征。这个操作使得每个样本向量变成了。
数据的标准化（normalization）
备忘录式博客
10-07 8436
在处理数据的时候，经常会涉及到标准化问题。 数据的标准化(normalization)是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。 一、数据标准化分类 1. 极差的标准化 一批样本中，每个特征的最大值与最小值之差，称为极差。 已知两个样本，每个样本有n个特征...
def forward(self, feat_fv, feat_fi, feat_v, feat_i): batchSize = feat_fv.shape[0] dim = feat_fv.shape[1] T = 0.07 feat_fv = F.normalize(feat_fv, dim=1) feat_fi = F.normalize(feat_fi, dim=1) feat_v = F.normalize(feat_v, dim=1) feat_i = F.normalize(feat_i, dim=1) l_pos_v = torch.bmm(feat_fv.view(batchSize, 1, -1), feat_v.view(batchSize, -1, 1)) l_pos_v = l_pos_v.view(batchSize, 1) l_pos_i = torch.bmm(feat_fi.view(batchSize, 1, -1), feat_i.view(batchSize, -1, 1)) l_pos_i = l_pos_i.view(batchSize, 1) l_pos = torch.zeros((batchSize, 1)).to(self.device) l_neg = torch.zeros((batchSize, batchSize-1)).to(self.device) for b in range(batchSize): if l_pos_v[b] >= l_pos_i[b]: # pos logit l_pos_batch = l_pos_v[b].unsqueeze(0) l_pos = l_pos.scatter_add_(0, torch.tensor([[b]]).to(self.device), l_pos_batch) # neg logit feat_v_without_pos = feat_v[torch.arange(feat_v.size(0)) != b] index_base = [b for _ in range(batchSize-1)] index = torch.tensor([index_base]).to(self.device) l_neg_batch = torch.bmm(feat_fv[b].unsqueeze(0).unsqueeze(0), feat_v_without_pos.view(1, -1, dim).transpose(2, 1)) l_neg_batch = l_neg_batch.view(-1, batchSize-1) l_neg = l_neg.scatter_add_(0, index, l_neg_batch) else: # pos logit l_pos_batch = l_pos_i[b].unsqueeze(0) l_pos = l_pos.scatter_add_(0, torch.tensor([[b]]).to(self.device), l_pos_batch) # neg logit feat_i_without_pos = feat_i[torch.arange(feat_i.size(0)) != b] index_base = [b for _ in range(batchSize-1)] index = torch.tensor([index_base]).to(self.device) l_neg_batch = torch.bmm(feat_fi[b].unsqueeze(0).unsqueeze(0), feat_i_without_pos.view(1, -1, dim).transpose(2, 1)) l_neg_batch = l_neg_batch.view(-1, batchSize-1) l_neg = l_neg.scatter_add_(0, index, l_neg_batch) out = torch.cat((l_pos, l_neg), dim=1) / T loss = self.cross_entropy_loss(out, torch.zeros(out.size(0), dtype=torch.long, device=feat_fv.device)) return loss
最新发布
03-21
<think>好的，我现在需要分析用户提供的这段PyTorch代码，并解释其功能和实现细节。首先，我会仔细阅读代码，理解每个部分的作用。 这段代码是一个神经网络的前向传播函数，属于自定义的PyTorch模块中的forward方法。输入参数包括四个特征张量：feat_fv、feat_fi、feat_v、feat_i。首先，这些特征被归一化处理，这可能是在计算相似度前常见的步骤，比如在对比学习中。 接下来，计算正样本的相似度。l_pos_v和l_pos_i分别是feat_fv与feat_v、feat_fi与feat_i的批量矩阵乘法结果，然后调整形状。这说明可能在计算两种模态之间的正例对，比如视觉和文本特征的对齐。 然后，初始化l_pos和l_neg为零张量，用于存储正例和负例的相似度得分。循环遍历每个样本，根据正例得分的高低选择不同的路径。如果视觉的正例得分更高，就使用视觉特征计算负例，否则使用其他模态的特征。这里可能是为了选择更可靠的正例对，动态调整负例的采样来源。 在负例计算中，排除当前样本的特征，与其他样本进行矩阵乘法，得到负例相似度，并使用scatter_add_方法将结果填充到l_neg中。这可能是在构建对比损失中的负样本对，每个样本的正例与其他所有样本作为负例。 最后，将正负例得分拼接，除以温度系数T，计算交叉熵损失。这里的交叉熵损失可能采用了一种对比损失的形式，比如InfoNCE损失，其中正例作为目标类别，模型需要区分正例和大量负例。 可能的问题包括：归一化的目的、矩阵乘法的意义、scatter_add_的作用、温度系数的影响，以及整体损失函数的设计意图。需要逐一解释这些部分，并指出可能的优化点或潜在问题，比如循环可能影响效率，是否有更向量化的实现方式。</think>这段代码实现了一个对比学习框架中的损失计算过程，主要用于处理多模态特征对齐。以下是核心功能的逐层解释： 1. **输入归一化** ```python feat_fv = F.normalize(feat_fv, dim=1) # 归一化视觉特征 feat_fi = F.normalize(feat_fi, dim=1) # 归一化跨模态特征 feat_v = F.normalize(feat_v, dim=1) # 归一化视觉全局特征 feat_i = F.normalize(feat_i, dim=1) # 归一化跨模态全局特征 ``` 目的：将特征投影到单位球面，使余弦相似度计算等价于点积运算 2. **正样本相似度计算** ```python l_pos_v = torch.bmm(feat_fv.view(batchSize, 1, -1), feat_v.view(batchSize, -1, 1)) l_pos_i = torch.bmm(feat_fi.view(batchSize, 1, -1), feat_i.view(batchSize, -1, 1)) ``` 作用：计算每个样本的视觉-视觉和跨模态-跨模态的相似度得分 3. **动态负样本选择** ```python for b in range(batchSize): if l_pos_v[b] >= l_pos_i[b]: # 选择更可靠的特征来源 # 使用视觉特征计算负样本 feat_v_without_pos = feat_v[torch.arange(feat_v.size(0)) != b] ... else: # 使用跨模态特征计算负样本 feat_i_without_pos = feat_i[torch.arange(feat_i.size(0)) != b] ... ``` 创新点：根据正样本相似度的比较结果，动态选择不同模态的特征进行负样本挖掘 4. **损失计算** ```python out = torch.cat((l_pos, l_neg), dim=1) / T loss = self.cross_entropy_loss(out, torch.zeros(...)) ``` 核心机制：构建InfoNCE损失，温度系数T用于调节概率分布的尖锐程度
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

静静喜欢大白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值