nn.Embedding(num_embeddings, embedding_dim, padding_idx)

已于 2023-05-08 21:22:43 修改
阅读量219 收藏
点赞数
分类专栏： PyTorch 学习 文章标签： pytorch 深度学习
于 2023-04-09 11:30:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43148788/article/details/130039711
版权
nn.Embedding(num_embeddings, embedding_dim, padding_idx)

简单来说就是一个嵌入层，输入词表大小和词表示的维度，输出词表中的每个词用embedding_dim维的向量表示的结果。

  • 定义：存储固定大小字典的词嵌入查找表
  • input：任意形状的 IntTensor或LongTensor (n, d)，其中的元素要小于num_embeddings
  • output：(n, d, a) # 词数，词维度，词向量维度
  • 参数：词表大小----词嵌入表示维度-----填充索引， num_embeddings >= nd
  • 为了保持句子长度等长，所以需要对较短句子进行padding
举例
  • 实例化词嵌入对象
embeder = torch.nn.Embedding(5, 4, padding_idx=2)
embeder.weight
"""在这里，padding_idx代表需要填充的词索引，默认填充0"""
Parameter containing:
tensor([[-0.9215, -0.6851, -0.1972, -1.2832],
        [-0.2189,  0.5643, -1.2452,  0.9586],
        [ 0.0000,  0.0000,  0.0000,  0.0000],
        [-1.4466, -0.0685,  0.3057,  2.1399],
        [-1.9602, -0.9143,  0.6579, -1.0564]], requires_grad=True)
词嵌入表示
words = torch.LongTensor([[1, 2], [3, 4])
# 长度一个是1，一个是2，所以第一个要补零哦
embeder(words)  # 把每个词用4维向量表示
"""这里的话，words中需要填充的位置设成padding_idx, 表示时就可以填充了"""
tensor([[[-0.2189,  0.5643, -1.2452,  0.9586],
         [ 0.0000,  0.0000,  0.0000,  0.0000]],

        [[-1.4466, -0.0685,  0.3057,  2.1399],
         [-1.9602, -0.9143,  0.6579, -1.0564]]], grad_fn=<EmbeddingBackward0>)
chenxi yan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入理解PyTorch中的nn.Embedding
⚡
06-27 1万+
深入理解nn.Embedding模块
torch再次入门之重出江湖torch.nn.Embedding
NLP与推荐算法
08-25 848
嗨各位大佬好，之前初步了解了torch的东西，但不够深入，这次有机会再次学习。 源于一个推荐方面的Chorus，自搜可得。 torch.nn.Embedding 一个简单的存储固定字典和size的查找表，输入是索引的list，输出是相应的词嵌入。 Args: | num_embeddings (int): size of the dictionary of embeddings | embedding_dim (int): the size of each embedd
nn.Embedding中padding_idx的理解
FY_2018的博客
07-08 2282
每个句子的长度并不一定是等长的, 这时候就需要对较短的句子进行padding, nn.Embedding中padding_idx是指定padding的索引值。 #实例化词嵌入对象，序列进行padding时补padding_idx。当采用补0的方式，padding_idx =0 #这里的词空间大小为5，词嵌入维度大小为7 embeder = nn.Embedding(5,7,padding_idx=0) print(embeder.weight) #padding_idx的位置为全0 print('*.
Embedding之padding_idx学习
MyHeartWillGoOn
01-06 2726
文章目录题目解释举例case1:padding_idx=Nonecase2:padding_idx=0case3:padding_idx=3case4:padding_idx=3,将单词顺序变化 题目 padding_idx学习 解释 Embedding类 参数 含义 padding_idx (int, optional) If specified, the entries at :attr:padding_idx do not contribute to the gradient; th
深入理解padding_idx(nn.Embedding、nn.Embedding.from_pretrained）
qq_43391414的博客
03-23 4177
文章目录参数含义 这个参数出现在一些地方，例如： nn.Embedding、nn.Embedding.from_pretrained。 import torch import torch.nn as nn import torch.optim as optim 参数含义 如下： padding_idx (int, optional) – If specified, the entries at padding_idx do not contribute to the gradient; therefor
【pytorch框架学习】nn.Embedding中的padding_idx用法示意
qq_42961603的博客
08-22 1698
import torch import torch.nn as nn embedding1 = nn.Embedding(10,3) embedding1.weight Parameter containing: tensor([[-0.9116, 0.5195, -1.3509], [ 0.5670, 0.8024, -0.0373], [-0.8223, -1.2181, -0.6713], [-1.2734, -1.0591, -1.1202],
torch.nn.Embedding()中的padding_idx参数解读
weixin_40426830的博客
09-29 8981
torch.nn.Embedding() Word Embedding 词嵌入，就是把一个词典，随机初始化映射为一个向量矩阵。 列如：有一组词典，有两个词“hello”和“world”，对应的值为0和1.通过pytorch中的torch.nn.Embedding()建立一个2x10的向量矩阵，其中2表示词典中词的数量，10表示每个词对应的向量大小。 word_to_id = {'hello':0, 'world':1} embeds = nn.Embedding(2, 10) hello_idx = tor
pytorch nn.Embedding的用法和理解
热门推荐
qq_39540454的博客
03-25 6万+
首先来看official docs对nn.Embedding的定义： 是一个lookup table，存储了固定大小的dictionary（的word embeddings）。输入是indices，来获取指定indices的word embedding向量。 官方文档的示例： >>> # an Embedding module containing 10 tensors of size 3 >>> embedding = nn.Embedding(10, 3) &gt
pytorch中nn.Embedding和nn.LSTM和nn.Linear
wangyangjingjing的博客
02-22 4378
CLASS torch.nn.Embedding(num_embeddings: int, embedding_dim: int, padding_idx: Optional[int] = None, max_norm: Optional[float] = None, norm_type: float = 2.0, scale_grad_by_freq: bool = False, sparse: bool = False, _weight: Optional[.
torch.nn.Embedding()参数讲解
LIYUO94的博客
11-14 2717
nn.Embedding(26, self.dim,padding_idx=0) num_embeddings：表示词典中词的数量 embedding_dim：表示每个词对应的向量维度 import torch import torch.nn as nn embed = nn.Embedding(10, 3, padding_idx=0) # padding_idx 默认是0 # 最终向量中的值为0的继续嵌入为0，如果设置为3的话，那么向量中值为3的位置的向量也将嵌入为0 embed.weight
Pytorch中的嵌入实例 nn.Embedding(max_type+3, args.features, padding_idx=0) 的解释
行子的博客
06-25 326
类的实例，可以作为神经网络中的一层使用。在网络的前向传播过程中，该层接收类型索引的张量作为输入，并将它们转换为对应的稠密嵌入向量。嵌入向量可以进一步由网络中的其他层进行处理。是一个 PyTorch 函数调用，用于创建神经网络模型的嵌入层。：这个参数指定了填充类型在词汇表中的索引。填充索引用于表示输入序列中的填充元素，的大小，或者数据集中唯一类型或标记的最大数量。词汇表中的每个类型或标记将被表示为一个具有。：这个参数确定了嵌入向量的大小，也就是。表示索引为 0 的类型被用作。个唯一类型，并且额外的。
nn.Embedding 理解及其参数 padding_idx含义
最新发布
Carl_changxin的博客
03-03 560
误区文章：https://blog.csdn.net/weixin_38257276/article/details/114195454。看到一些文章对Embedding层理解上存在误区，故贡献一点自己的想法。
关于nn.embedding的中padding_idx的含义
a857553315的博客
07-06 9382
自然语言中使用批处理时候, 每个句子的长度并不一定是等长的, 这时候就需要对较短的句子进行padding, 填充的数据一般是0, 这个时候, 在进行词嵌入的时候就会进行相应的处理, nn.embedding会将填充的映射为0 其中padding_idx就是这个参数, 这里以3 为例, 也就是说补长句子的时候是以3padding的, 这个时候我们液晶padding_idx设为3 import torch import torch.nn as nn embed = nn.Embedding(10, 3,
nn.embedding函数详解(pytorch)
weixin_38252409的博客
11-06 4761
最近发现prompt工程(如sam模型)，也有transform的detr模型等都使用了nn.Embedding函数，对points、boxes或learn query进行编码或解码。因此，我想写一篇文章作为记录，本想简单对其 介绍，但写着写着就想把所有与它相关东西作为记录。本文章探讨了nn.Embedding参数、使用方法、模型训练与预测的变化，并附有列子源码作为支撑 ，呈现一个较为完善的理解内容。
Pytorch中的nn.Embedding()
qq_38883844的博客
02-15 5万+
首先，我们先理解一下什么是Embedding。 Word Embedding 翻译过来的意思就是词嵌入，通俗来讲就是将文字转换为一串数字。因为数字是计算机更容易识别的一种表达形式。 我们词嵌入的过程，就相当于是我们在给计算机制造出一本字典的过程。计算机可以通过这个字典来间接地识别文字。 所以，接下来看看Pytorch里面的Embedding是什么样子的叭： torch.nn.Embedding 介...
深度学习：pytorch nn.Embedding详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-18 1万+
nn.Embedding是PyTorch中的一个常用模块，其主要作用是将输入的整数序列转换为密集向量表示。在自然语言处理（NLP）任务中，可以将每个单词表示成一个向量，从而方便进行下一步的计算和处理。
PyTorch中的Embedding
Mark_Australia的博客
03-30 650
Embedding
详细介绍pytorch中的nn.Embedding()
拒绝任何因懒惰而生的省略号
09-13 1万+
num_embeddings (python:int) – 词典的大小尺寸，比如总共出现5000个词，那就输入5000。此时index为（0-4999） embedding_dim (python:int) – 嵌入向量的维度，即用多少维来表示一个符号。 padding_idx (python:int, optional) – 填充id，比如，输入长度为100，但是每次的句子长度并不一样，后面就需要用统一的数字填充，而这里就是指定这个数字，这样，网络在遇到填充id时，就不会计算其与其它符号的相关性。（初始.
【pytorch】有关nn.EMBEDDING的简单介绍
安安爸Chris的专栏
09-29 4304
假设有一本字典，就一共只有10单词，每个单词有5个字母组成。每一页上只写一个单词，所以这10页纸上分别写了这10个单词。内如如下，我们假定这本字典叫, 这里的10和5即上面介绍的含义，10个单词，每个单词5个字母；现在我要查看第2页和第3页（从0开始），那么我会得到 [s,m,a,l,l]， [w,a,t,c,h] 内容。假定我们约定一个暗号，你告诉我页数，我就返回对应页数的单词。如，你发给我暗号 [ [2,3], [1,0], [8,6] ] (
class SegModel(torch.nn.Module): """分词模型""" def __init__(self, vocab_size: int, embedding_size: int, hidden_size: int): super().__init__() self.embedding = torch.nn.Embedding(vocab_size, embedding_size, padding_idx=0) self.lstm = torch.nn.LSTM(embedding_size, hidden_size, batch_first=True, bidirectional=True) self.linear = torch.nn.Linear(2 * hidden_size, 1) self.sigmoid = torch.nn.Sigmoid() def forward(self, inputs: torch.Tensor, mask: torch.Tensor) -> torch.Tensor: embeddings = self.embedding(inputs) outputs, _ = self.lstm(embeddings) logits = self.linear(outputs) logits = logits.squeeze(-1) logits = self.sigmoid(logits) logits = logits * mask return logits
05-19
这是一个使用 PyTorch 实现的分词模型，采用了 LSTM 神经网络结构。该模型的输入是一个大小为 `(batch_size, sequence_length)` 的整数张量 `inputs`，表示分词器需要对其中的文本进行分词，其中 `batch_size` 表示批次大小，`sequence_length` 表示序列长度。此外，还需要输入一个大小为 `(batch_size, sequence_length)` 的二元张量 `mask`，其中每个元素表示对应文本是否为填充，即 `1` 表示不是填充，`0` 表示是填充。 模型的输出是一个大小为 `(batch_size, sequence_length)` 的浮点数张量，其中每个元素表示对应位置是否需要分词，即 `1` 表示需要分词，`0` 表示不需要分词。 在模型的构造函数中，首先调用了基类 `torch.nn.Module` 的构造函数来初始化模型。然后，定义了一个 `torch.nn.Embedding` 层，用于将输入的整数张量转换为词向量。接下来，定义了一个双向 LSTM 层，用于学习输入序列的上下文信息。最后，定义了一个全连接层和一个 sigmoid 激活函数，用于将 LSTM 输出转换为需要分词的概率。在模型的前向传播过程中，首先将输入文本转换为词向量，然后通过 LSTM 层计算序列的上下文信息，再通过全连接层和 sigmoid 激活函数计算需要分词的概率，并与 `mask` 做点乘，得到最终的输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值