torch.rsqrt用法

最新推荐文章于 2024-07-07 14:56:27 发布
最新推荐文章于 2024-07-07 14:56:27 发布
阅读量1.5k 收藏 1
点赞数 2
分类专栏： pytorch学习 文章标签： pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47156261/article/details/116711216
版权

torch.rsqrt:
在这里插入图片描述
代码示例：

import torch
a=torch.tensor([1.,2.,3.,4.])
print("a:",a)
b=torch.rsqrt(a)
print("b:",b)

输出：

a: tensor([1., 2., 3., 4.])
b: tensor([1.0000, 0.7071, 0.5774, 0.5000])
【编译系列】Torch.compile()训练编译——算子融合逻辑 & 工程化
StarCap的博客
02-02 916
从2.4版本开始，PyTorch开始支持通过torch.library的方式往torch.compile中注册新operator，对环境有一定要求torch>=2.4且gcc>=9(训练机器最高为8.2，需要手动安装)。<2.4版本也支持，但使用起来会比较繁琐。在训练场景下，要求实现operator对应的前向函数和反传函数。
2021SC@SDUSC 开源项目GFPGAN-2-2021-10-07-类NormStyleCode分析
weixin_46915928的博客
10-07 198
2021SC@SDUSC 目录 #分析的代码片段 class NormStyleCode(nn.Module): def forward(self, x): """Normalize the style codes. //规范化样式代码 Args: x (Tensor): Style codes with shape (b, c).
torch.rsqrt()
qq_43701910的博客
07-07 800
函数的作用：获取 input 张量中每一个元素的平方根的倒数。
torch.rsqrt()函数详解
weixin_37490132的博客
09-10 2833
torch.rsqrt()函数详解
Pytorch torch.rsqrt()的简单用法
xiongxyowo的博客
04-07 7040
官方文档：https://pytorch.org/docs/master/generated/torch.rsqrt.html 简单来说就是对每个元素取平方根后再取倒数，即：  out i=1 input i \text { out }_{i}=\frac{1}{\sqrt{\text { input }_{i}}}  out i​= input i​​1​ 是元素级的操作，并不会影响如维度等因素。 例如： import tor
torch.sqrt()的使用
敲代码的小风
12-17 2万+
参考链接: torch.sqrt(input, out=None) 功能: 逐元素计算张量的平方根 代码实验: (base) PS C:\Users\chenxuqi> python Python 3.7.4 (default, Aug 9 2019, 18:34:13) [MSC v.1915 64 bit (AMD64)] :: Anaconda, Inc. on win32 Type "help", "copyright", "credits" or "license" for mor
pytorch 中 torch.sqrt 的坑
ONE_SIX_MIX的专栏
05-19 1万+
记录一下，避免后面踩坑 单步调了半小时，幸好这个问题出现很频繁 发现是函数与导函数定义域问题。。。 sqrt(x) 函数的定义域为 [0, 无穷大) sqrt(x) 的导函数的定义域 却是 (0, 无穷大) 这些函数定义域跟导函数的定义域不一样，正向传播可以得到正常结果，但是一旦backward就会得到Nan。。。 问题重现 import torch a = torch.zeros(1) a.re...
Torch常用函数详解T
一个小白
11-08 1万+
torch 本笔记引用自PyTorch中文文档 包torch包含了多维疑是的数据结构及基于其上的多种数学操作。 1. 张量Tensors torch.is_tensor(obj): 如果obj是一个pytorch张量，则返回True torch.is_storage(obj): 如果obj是一个pytorch storage对象，则返回True torch.numel(inpu...
pytorch【笔记】
bettle_king的博客
01-24 1029
笔记
数据分析-深度学习 Pytorch Day3
weixin_43902376的博客
01-13 760
PyTorch张量在概念上与numpy数组相同:张量是一个n维数组，PyTorch提供了许多操作这些张量的函数。对于现代的深度神经网络，gpu通常提供50倍或更高的加速，所以很不幸numpy不足以满足现代的深度学习。Torch张量和NumPy数组将共享它们的底层内存位置(如果Torch张量在CPU上)，改变一个就会改变另一个。当创建一个未初始化的矩阵时，无论当时分配的内存中有什么值，都会显示为初始值。在现有张量上创建的张量，其属性将重用输入张量的属性，除非用户提供新的值。
Pytorch学习之torch----数学操作(三)
励志的小胡子
07-17 1万+
1. torch.reciprocal(input, out=None) 说明：返回一个新张量，包含输入input张量每个元素的倒数。 参数： input(Tensor) -- 输入张量 out(Tensor, 可选) -- 输出张量 >>> a = torch.randn(5) >>> a tensor([ 0.6535, 1.3616, -1....
torch学习笔记之——数学运算
qq_58832911的博客
01-17 2502
torch学习笔记之——数学运算：+（add）， -（sub）， *(mul) ，/(div) ，matmul，power，sqrt，Rsqrt，exp ，log ，round，Clamp的灵活运用。
torch.add、sub、mul、div、matmul、mm、@、pow、exp、log、sqrt运算
jjw_zyfx的博客
08-20 4527
import torch # 加法运算的几种方式 a = torch.rand(2, 3) b = torch.rand(2, 3) print(a) print(b) print('a + b\n', a + b) print('a.add(b)\n', a.add(b)) print('torch.add(a, b)\n', torch.add(a, b)) # 仅这种方式会改变a的值，即把结果保存到a中 print('a.add_(b)\n', a.add_(b)) print(a) print
[Pytorch]Pytorch中tensor常用语法——张量数学运算
Fighting Hua
06-16 2086
原文地址：https://zhuanlan.zhihu.com/p/31494491 上次我总结了在PyTorch中建立随机数Tensor的多种方法的区别。这次我把常用的Tensor的数学运算总结到这里，以防自己在使用PyTorch做实验时，忘记这些方法应该传什么参数。总结的方法包括：Tensor求和以及按索引求和：torch.sum() torch.Tensor.indexadd()Tensor元素乘积：torch.prod(input)对Tensor求均值、方差、极值：torch.mean().
[算法]快速平方根倒数算法学习-Fast Inverse Square Root
WuYiWoYi的博客
03-05 2530
平方根倒数速算法是一种用于快速计算32位浮点数的算术平方根的倒数的算法。最早可能由SGI在90年代前期发明，在1999年的《雷神之锤III竞技场》源代码中应用，但直到2002-2003年间才在Usenet等公共论坛上出现。该算法的优势在于减少了求平方根倒数时的大量运算耗费。在计算机图形学领域，例如计算照明和投影的波动角度与反射效果时，常需要计算平方根倒数。算法通过对32位带符浮点数进行一系列操作，包括右移、使用特定十六进制魔术数字的减法以及牛顿迭代法，以快速得到平方根倒数的近似值。该算法在相同精度下比直接使
pytorch中一些常用方法的总结
热门推荐
凌墨的博客
09-16 5万+
主要介绍一些pytorch框架常用的方法，这里torch环境实在torch0.3.1情况，请对号入座。。。 1、首先介绍我们学习pytorch的官方教程地址：http://pytorch.org/docs/master/index.html；还有一个中文文档:点击打开链接，0.4版本的官方文档：点击打开链接 2、我个人也是 pytorch 的初学者，我以一个初学者的身份来简单介绍torch的使...
平方根倒数速算法及解释
无尽星空--帝王铠
03-05 1681
#include using namespace std; float Q_rsqrt(float number) { long i; float x2, y; const float threehalfs = 1.5F; x2 = number * 0.5F; y = number; i = *(long *)&y; // evil floating point bit level
快速浮点开方运算
zerokkqq的专栏
10-08 1985
代码下载：开根号的几种算法实现 在之前的博客中我们介绍了数据类型的地址转换，利用它我们可以将一个float型的值直接看成一个int类型。这种地址转换到底有什么意义，或者说有什么用途呢？今天，给大家展示一个实例—快速浮点开方运算，让大家更加明白地址转换的含义和它们之间的对应关系。 1 二分法           浮点开方也就是给定一个浮点数x，求。这个简单的问题有很多解，我们从最简
``` # Compute padding. pad_total = (self.out_size - 1) * self.down_factor + 1 # Desired output size before downsampling. pad_total -= (self.in_size + self.conv_kernel - 1) * self.up_factor # Input size after upsampling. pad_total += self.up_taps + self.down_taps - 2 # Size reduction caused by the filters. pad_lo = (pad_total + self.up_factor) // 2 # Shift sample locations according to the symmetric interpretation (Appendix C.3). pad_hi = pad_total - pad_lo self.padding = [int(pad_lo[0]), int(pad_hi[0]), int(pad_lo[1]), int(pad_hi[1])] def forward(self, x, w, noise_mode='random', force_fp32=False, update_emas=False): assert noise_mode in ['random', 'const', 'none'] # unused misc.assert_shape(x, [None, self.in_channels, int(self.in_size[1]), int(self.in_size[0])]) misc.assert_shape(w, [x.shape[0], self.w_dim]) # Track input magnitude. if update_emas: with torch.autograd.profiler.record_function('update_magnitude_ema'): magnitude_cur = x.detach().to(torch.float32).square().mean() self.magnitude_ema.copy_(magnitude_cur.lerp(self.magnitude_ema, self.magnitude_ema_beta)) input_gain = self.magnitude_ema.rsqrt() # Execute affine layer. styles = self.affine(w) if self.is_torgb: weight_gain = 1 / np.sqrt(self.in_channels * (self.conv_kernel ** 2)) styles = styles * weight_gain # Execute modulated conv2d. dtype = torch.float16 if (self.use_fp16 and not force_fp32 and x.device.type == 'cuda') else torch.float32 x = modulated_conv2d(x=x.to(dtype), w=self.weight, s=styles, padding=self.conv_kernel-1, demodulate=(not self.is_torgb), input_gain=input_gain) # Execute bias, filtered leaky ReLU, and clamping. gain = 1 if self.is_torgb else np.sqrt(2) slope = 1 if self.is_torgb else 0.2 x = filtered_lrelu.filtered_lrelu(x=x, fu=self.up_filter, fd=self.down_filter, b=self.bias.to(x.dtype), up=self.up_factor, down=self.down_factor, padding=self.padding, gain=gain, slope=slope, clamp=self.conv_clamp) # Ensure correct shape and dtype. misc.assert_shape(x, [None, self.out_channels, int(self.out_size[1]), int(self.out_size[0])]) assert x.dtype == dtype return x```解释这段代码
最新发布
03-11
<think>好的，我现在要解释用户提供的这段代码。首先，我需要整体看一下代码的结构和功能。看起来这段代码是PyTorch的一个自定义模块，可能用于生成对抗网络（GAN）中的上采样或下采样操作，特别是StyleGAN之类的模型，因为里面有提到modulated_conv2d和affine层，这些在StyleGAN中常见。 首先，代码分为两部分：padding的计算和forward方法。我需要分别理解这两个部分的作用。 关于padding的计算部分，用户给出了一个注释，说明这是在计算填充量。首先，pad_total的计算涉及输出尺寸、输入尺寸、卷积核大小、上采样和下采样因子，以及滤波器的tap数。这看起来像是在根据输入输出尺寸和上下采样的需求，计算需要填充的总量，然后分配到pad_lo和pad_hi，这可能是在左右或上下两侧分配填充量，保持对称。这部分可能需要进一步分析每个步骤的数学推导。 然后是forward方法，参数包括输入x、样式w、噪声模式等。在forward中，首先进行了一些断言检查，确保输入的尺寸正确。接着，如果update_emas为真，会更新magnitude_ema，这可能是在跟踪输入的大小，用于归一化。然后计算input_gain，作为EMA的逆平方根，用于后续调整输入幅度。 执行affine层，将w转换为styles。如果是toRGB层（即生成RGB图像的最后层），会应用权重增益。然后执行modulated_conv2d，这里使用了调制卷积，这可能是指StyleGAN2中的权重调制机制。数据类型可能根据是否使用fp16来决定。 接下来是偏置、过滤的leaky ReLU和钳位操作。这里使用了filtered_lrelu，这可能是一种结合上采样和下采样滤波器的激活函数，带有增益和斜率参数。最后确保输出的形状和数据类型正确。 现在需要详细解释每个步骤，尤其是padding的计算部分。可能需要用公式表示各个步骤，比如pad_total的计算。例如： pad_total = (out_size -1)*down_factor +1 - (in_size + conv_kernel -1)*up_factor + up_taps + down_taps -2 这可能涉及到确保在经过上采样、卷积、下采样等操作后，输出尺寸正确，因此需要计算所需的填充量。这里的每个项可能需要更详细的解释，例如为什么这样组合。 在forward过程中，modulated_conv2d是StyleGAN2中的关键部分，它根据样式向量调整卷积权重。filtered_lrelu可能结合了上采样或下采样的滤波操作，比如在激活时进行抗锯齿处理。 需要注意用户提到的系统级指令，比如数学表达式需要用$...$，独立公式用$$...$$，并且用中文回答，结构清晰。需要确保解释准确，不遗漏关键点，如EMA的作用、affine变换、调制卷积、滤波激活等。 可能的疑问点：pad_total的计算是否考虑了上采样和下采样的步长？如何保证最终的输出尺寸正确？up_taps和down_taps具体指什么？这部分可能需要进一步查阅相关论文或代码注释，但根据当前代码，假设这些参数是滤波器的大小或抽头数，影响填充量。 总之，需要将代码拆解为各个功能模块，逐步解释每个变量的作用，数学计算的意义，以及整个前向传播流程。</think>以下是对代码的逐层解析： ### 一、Padding计算（核心对齐逻辑） 该模块通过数学公式计算卷积前后的尺寸对齐，保证上/下采样后的尺寸匹配。主要步骤： 1. **目标尺寸计算** $$pad_{\text{total}} = (\text{out\_size} - 1) \times \text{down\_factor} + 1$$ - 表示下采样前需要的中间尺寸 2. **输入尺寸扣除** $$pad_{\text{total}} -= (\text{in\_size} + \text{conv\_kernel} - 1) \times \text{up\_factor}$$ - 计算上采样后的输入尺寸 3. **滤波器尺寸补偿** $$pad_{\text{total}} += (\text{up\_taps} + \text{down\_taps} - 2)$$ - 补偿上下采样滤波器的尺寸缩减 4. **对称填充分配** $$pad_{\text{lo}} = \frac{pad_{\text{total}} + \text{up\_factor}}{2}$$ $$pad_{\text{hi}} = pad_{\text{total}} - pad_{\text{lo}}$$ ### 二、前向传播流程（关键操作链） ```python def forward(...): ``` 1. **输入验证** - 检查noise_mode合法性 - 验证输入张量x的尺寸格式：[batch, in_channels, height, width] - 验证样式向量w的尺寸：[batch, w_dim] 2. **动态归一化** ```python self.magnitude_ema.copy_(magnitude_cur.lerp(...)) input_gain = self.magnitude_ema.rsqrt() ``` - 使用指数移动平均(EMA)跟踪输入幅度的平方均值 - 通过逆平方根实现自适应幅值归一化 3. **样式调制** ```python styles = self.affine(w) # 全连接层映射样式向量 if self.is_torgb: styles *= 1/√(in_channels×conv_kernel²) # 稳定RGB输出 ``` - 将潜在向量w转换为卷积权重调制参数 4. **调制卷积核** ```python x = modulated_conv2d(...) # 核心操作 ``` - 实现StyleGAN2的特征解耦机制 - 根据styles动态调整卷积核权重 5. **非线性激活** ```python filtered_lrelu(...) # 带滤波的激活 ``` - 结合上/下采样滤波器的leaky ReLU - 关键参数： - `gain=√2`（保持方差稳定） - `slope=0.2`（标准leaky参数） - `clamp`防止数值爆炸 ### 三、设计特点分析 1. **抗锯齿处理** - 通过`up_filter`和`down_filter`实现频域控制 - 配合padding策略消除混叠现象 2. **数值稳定性** - EMA动态归一化 - weight_gain显式控制 - clamp截断保护 3. **硬件适配** - 自动选择float16/float32 - CUDA设备优化 ### 四、典型应用场景 该模块常见于： 1. StyleGAN系列生成器的特征变换层 2. 渐进式生成结构中的分辨率切换模块 3. 需要频域控制的超分辨率网络 建议结合附录C.3的对称解释原则，理解padding分配的数学依据。核心思想是通过精确的几何级数计算，实现任意缩放倍率下的尺寸对齐。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值