masked_fill()、contiguous()、nn.Embedding()、register_buffer()、损失计算的格式要求、创建tensor的方法

已于 2023-03-17 10:52:57 修改
阅读量221 收藏
点赞数
分类专栏： # Pytorch 文章标签： pytorch 深度学习 人工智能
于 2023-03-09 15:22:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gqrblnp/article/details/129423371
版权
文章介绍了PyTorch中几个重要的函数应用，如masked_fill()用于填充张量，contiguous()确保张量布局一致，nn.Embedding用于词嵌入，register_buffer()用于登记模型中不变的参数。此外，还讨论了计算损失时的注意事项以及创建tensor的不同方法。
摘要由CSDN通过智能技术生成

1 masked_fill()函数应用

2 contiguous()函数应用：当调用contiguous()时，会强制拷贝一份tensor，让它的布局和从头创建的一模一样，但是两个tensor完全没有联系；

3 nn.Embedding()函数应用

4 register_buffer()函数应用：

4.1 在model中，我们需要更新其中的参数，训练结束将参数保存下来。但在某些时候，我们可能希望模型中的某些参数参数不更新（从开始到结束均保持不变），但又希望参数保存下来（model.state_dict() ），这是我们就会用到 register_buffer()；

4.2 成员变量：不更新，但是不算是模型中的参数（model.state_dict()）；通过register_buffer()登记过的张量：会自动成为模型中的参数，随着模型移动（gpu/cpu）而移动，但是不会随着梯度进行更新；

4.3 模型保存下来的参数有两种：一种是需要更新的Parameter，另一种是不需要更新的buffer。在模型中，利用backward反向传播，可以通过requires_grad来得到buffer和parameter的梯度信息，但是利用optimizer进行更新的是parameter，buffer不会更新，这也是两者最重要的区别。这两种参数都存在于model.state_dict()的OrderedDict中，也会随着模型“移动”（model.cuda()）

5 计算损失时，预测值和实际值要转换成相同的格式；

6 Pytorch中创建tensor的几种方式详解；

ad转化器
关注
专栏目录
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
iioSnail的博客
07-28 8万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
机器翻译：Sequence to Sequence Modeling with nn.Transformer
最新发布
AI天才研究院
07-31 1755
在近几年里，基于深度学习的神经网络在自然语言处理（NLP）领域逐渐成为主流，其主要应用领域之一就是机器翻译。其核心思想就是用计算机将一段文本从一种语言翻译成另一种语言，例如英文到中文或者中文到英文。目前最常用的机器翻译模型是 seq2seq 模型，即序列到序列模型。Seq2seq 模型的基本思路是将输入序列通过编码器进行编码并得到固定长度的上下文表示，然后把此上下文表示作为解码器的初始状态，将目标序列通过解码器生成翻译后的文本。
pytorch masked_fill报错的解决
09-17
今天小编就为大家分享一篇pytorch masked_fill报错的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch .masked_fill_()
weixin_44317740的博客
10-22 789
masked_fill_(mask, value) 掩码操作 用value填充tensor中与mask中值为1位置相对应的元素。mask的形状必须与要填充的tensor形状一致。 a = torch.randn(5,6) x = [5,4,3,2,1] mask = torch.zeros(5,6,dtype=torch.float) for e_id, src_len in enumerate(x): mask[e_id, src_len:] = 1 mask = mask.to(device
pytorch中的 .masked_fill_()函数
weixin_44809603的博客
01-22 1979
1 What? 明确函数功能，掩码操作，用value掩盖mask中相对应的元素。 .masked_fill_(mask,value) 2 HOW? 要怎么使用。 a = torch.randn(5,6) x = [5,4,3,2,1] mask = torch.zeros(5,6,dtype=torch.float) for e_id, src_len in enumerate(x): mask[e_id, src_len:] = 1 mask = mask.to(device = 'cpu')
Pytorch中的masked_fill()函数
weixin_44737266的博客
05-07 4801
masked_fill()函数 主要用在transformer的attention机制中，在时序任务中，主要是用来mask掉当前时刻后面时刻的序列信息。此时的mask主要实现时序上的mask。 >>>a=torch.tensor([1,0,2,3]) >>>a.masked_fill(mask = torch.ByteTensor([1,1,0,0]), value=torch.tensor(-1e9)) >>>a >>>tenso
[Pytorch函数] .masked_fill_()
热门推荐
qq_41568188的博客
07-11 2万+
masked_fill_(mask, value) 掩码操作 用value填充tensor中与mask中值为1位置相对应的元素。mask的形状必须与要填充的tensor形状一致。 a = torch.randn(5,6) x = [5,4,3,2,1] mask = torch.zeros(5,6,dtype=torch.float) for e_id, src_len in enumerate(x): mask[e_id, src_len:] = 1 mask = mask.to(device
import torchimport torch.nn as nnclass MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() self.num_heads = num_heads self.d_model = d_model assert d_model % self.num_heads == 0 self.depth = d_model // self.num_heads self.Wq = nn.Linear(d_model, d_model) self.Wk = nn.Linear(d_model, d_model) self.Wv = nn.Linear(d_model, d_model) self.fc = nn.Linear(d_model, d_model) def scaled_dot_product_attention(self, Q, K, V, mask=None): d_k = Q.size(-1) scores = torch.matmul(Q, K.transpose(-1, -2)) / torch.sqrt(torch.tensor(d_k, dtype=torch.float32)) if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) attention = torch.softmax(scores, dim=-1) output = torch.matmul(attention, V) return output, attention def split_heads(self, x, batch_size): x = x.view(batch_size, -1, self.num_heads, self.depth) return x.permute(0, 2, 1, 3) def forward(self, Q, K, V, mask=None): batch_size = Q.size(0) Q = self.Wq(Q) K = self.Wk(K) V = self.Wv(V) Q = self.split_heads(Q, batch_size) K = self.split_heads(K, batch_size) V = self.split_heads(V, batch_size) scaled_attention, attention = self.scaled_dot_product_attention(Q, K, V, mask) scaled_attention = scaled_attention.permute(0, 2, 1, 3).contiguous() scaled_attention = scaled_attention.view(batch_size, -1, self.d_model) output = self.fc(scaled_attention) return output, attention
06-08
- d_model：表示输入向量的维度，也就是embedding的维度。 - num_heads：表示attention头的数量。 输入的维度是： - Q, K, V：三个输入张量的维度都为 [batch_size, seq_length, d_model]，其中batch_size代表...
【SwinTransformer】GitHub源码，main.py，swin_transformer.py...
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
12-23 866
【SwinTransformer】GitHub源码，main.py，swin_transformer.py...
Pytorch入门实战（5）：基于nn.Transformer实现机器翻译（英译汉）
iioSnail的博客
08-05 2万+
本文将使用Pytorch提供的nn.Transformer实现英文到中文的机器翻译任务。对nn.Transformer的讲解，可以参考我的另一篇博文Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解，建议先学习该文的CopyTask任务，然后再来看该篇就容易多了。......
masked_fill_() - masked_fill() - v1.5.0
既然选择了远方 便只顾风雨兼程 - 永强
06-25 5193
masked_fill_() - masked_fill() - v1.5.0 torch.Tensor https://pytorch.org/docs/stable/tensors.html torch.Tensor.masked_fill (Python method, in torch.Tensor) torch.Tensor.masked_fill_ (Python method, in torch.Tensor) masked_fill_(mask, value) - 函数名后面加下划线。i
【Torch API】pytorch 中masked_fill()函数详解
devil_son1234的博客
03-27 1753
必须是一个 ByteTensor ，shape必须和 a一样，且元素只能是 0或者1 ，是将 mask中为1的 元素所在的索引，在a中相同的的索引处替换为 value ，mask value必须同为tensor。
masked_fill【将mask中值为True的位置对应的待填充的张量设置为value值】
MOL
01-09 7791
masked_fill方法有两个参数，maske和value，mask是一个pytorch张量（Tensor），元素是布尔值，value是要填充的值，填充规则是mask中取值为True位置对应于待填充的相应位置用value填充。 import torch a=torch.tensor([[[5,5,5,5], [6,6,6,6], [7,7,7,7]], [[1,1,1,1],[2,2,2,2],[3,3,3,3]]]) print(a) print(a.size()) print("#########
torch调用masked_fill函数
小姑仔的博客
01-20 3630
masked_fill_(mask, value) 掩码操作 用value填充tensor中与mask中值为1位置相对应的元素。mask的形状必须与要填充的tensor形状一致。 a = torch.randn(5,6) x = [5,4,3,2,1] mask = torch.zeros(5,6,dtype=torch.float) for e_id, src_len in enumerate(x): mask[e_id, src_len:] = 1 mask = mask.to(device
Pytorch masked_fill_() masked_fill()
Decennie的博客
07-30 398
pytorch masked_fill方法简单理解
pytorch 中 x.masked_fill(mask, value)用value填充x中对应mask位置处为True的元素
m0_46483236的博客
04-06 1008
函数讲解： pytorch 中 x.masked_fill(mask, value)用value填充张量x中对应mask位置处为True的元素。其中，mask的形状要和需要填充的张量x的形状一致。 示例： import torch import numpy as np x = torch.randn(5, 6) mask = torch.tensor([[False, False, True, True, True, True], [False,.
Pytorch - masked_fill方法参数详解与使用
HW140701的博客
08-15 6947
输入的mask需要与当前的基础Tensor的形状一致。将mask中为True的元素对应的基础Tensor的元素设置为值value。返回填充后的Tensor。
Pytorch masked_fill 函数理解应用
weixin_41684423的博客
05-27 2739
masked_fill_(mask,value) Fills elements ofselftensor withvaluewheremaskis True. The shape ofmaskmust bebroadcastablewith the shape of the underlying tensor. Parameters mask(BoolTensor) – the boolean mask value(float) – the value to ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值