torch.nn.Embedding理解

最新推荐文章于 2025-03-18 20:03:11 发布
最新推荐文章于 2025-03-18 20:03:11 发布
阅读量5.2k 收藏 3
点赞数 3
分类专栏： pytorch 学习 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43112462/article/details/87972232
版权

看官方的文档之后，自己的理解，供以后学习之用。

#输入的batch为2，每个batch有4个索引 
input = torch.tensor([[1,2,4,5],[4,3,2,9]]) 
#字典中包含的词有10个，每个3维
embedding_matrix = torch.rand(10, 3)
F.embedding(input, embedding_matrix)
tensor([[[ 0.8490,  0.9625,  0.6753],
             [ 0.9666,  0.7761,  0.6108],
             [ 0.6246,  0.9751,  0.3618],
             [ 0.4161,  0.2419,  0.7383]],
             [[ 0.6246,  0.9751,  0.3618],
             [ 0.0237,  0.7794,  0.0528],
             [ 0.9666,  0.7761,  0.6108],
             [ 0.3385,  0.8612,  0.1867]]])

所以最后得到了一个shape为（2，4，3）的一个tensor。

通过nn．Embedding来实现词嵌入
AI天才研究院
06-14 1094
通过nn.Embedding来实现词嵌入 1.背景介绍 在自然语言处理任务中,我们需要将文本转换为机器可以理解的数值表示形式。传统的做法是使用one-hot编码,将每个单词表示为一个高维稀疏向量。但这种方法存在一些缺陷: 维度灾难:词汇表越大,向量维度越高,导
torch再次入门之重出江湖torch.nn.Embedding
NLP与推荐算法
08-25 997
嗨各位大佬好，之前初步了解了torch的东西，但不够深入，这次有机会再次学习。 源于一个推荐方面的Chorus，自搜可得。 torch.nn.Embedding 一个简单的存储固定字典和size的查找表，输入是索引的list，输出是相应的词嵌入。 Args: | num_embeddings (int): size of the dictionary of embeddings | embedding_dim (int): the size of each embedd
torch.nn.Embedding
越努力 越幸运
01-07 9417
官网：https://pytorch.org/docs/stable/nn.html#embedding torch.nn.Embedding(num_embeddings,embedding_dim,padding_idx=None,max_norm=None,norm_type=2.0,scale_grad_by_freq=False,sparse=False,_weight...
pytorch小记（十四）：pytorch中 nn.Embedding 详解
最新发布
xzs1210652636的博客
03-18 991
pytorch小记（十四）：pytorch中 nn.Embedding 详解
torch.nn.embedding()
qq_35222729的博客
08-19 4423
作者：top_小酱油 链接：https://www.jianshu.com/p/63e7acc5e890 来源：简书 内容：上述是以RNN为基础解析的 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None) 意义 其为一个简单的存储固定大小的词典的嵌入向量的查找表
torch.nn.Embedding的使用
大墅哥哥的博客
02-21 4189
torch.nn.Embedding 在使用pytorch进行词嵌入使用torch.nn.Embedding（）就可以做到 nn.Embedding在pytoch中的解释 class torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_...
【python函数】torch.nn.Embedding函数用法图解
风巽·剑染春水的博客
09-20 8959
相比于One-hot编码，Embedding方式更方便计算，nn.embedding就相当于一个词典嵌入表。
深度学习：pytorch nn.Embedding详解
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-18 3万+
nn.Embedding是PyTorch中的一个常用模块，其主要作用是将输入的整数序列转换为密集向量表示。在自然语言处理（NLP）任务中，可以将每个单词表示成一个向量，从而方便进行下一步的计算和处理。
torch.nn.Embedding模块介绍
qq_27390023的博客
12-29 1021
是 PyTorch 中的一个嵌入层模块，用于将离散的整数索引（如单词或标记的 ID）映射到连续的密集向量空间中。常用于自然语言处理（NLP）中的词嵌入，但也适用于任何需要将类别数据转换为密集向量表示的场景。
PyTorch torch.nn.Embedding类介绍
qq_27390023的博客
10-19 1061
嵌入矩阵中嵌入向量的总数，通常等于输入的词汇量或类别数量。例如，如果你有 1000 个不同的单词，则应设为 1000。: 每个嵌入向量的维度。例如，你希望每个单词被表示成 50 维的向量，则设置。: （可选）指定输入中用于填充的索引。如果输入包含填充索引，该索引对应的嵌入向量会被初始化为 0 且不会被训练更新。max_norm: （可选）如果设置，该参数会使得每个嵌入向量的范数不超过max_norm，从而强制嵌入向量有固定的范围。norm_type: 用于max_norm。
pytorch里面的nn库：torch.nn.modules、torch.nn.functional、torch.nn.parameter、torch.nn.Sequential
Amanda_python的博客
01-09 1518
torch.nn是专门为神经网络设计的模块化接口 torch.nn构建与autograd之上，可以用来定义和运行神经网络 介绍一下四大库：torch.nn.modules、torch.nn.functional、torch.nn.parameter、torch.nn.Sequential torch.nn.modules ************torch.nn.modules************* torch.nn.MSELoss torch.nn.CrossEntropyLoss torch.nn
torch.nn.embedding()大致使用方法
12-20
总的来说，`torch.nn.Embedding()` 是 PyTorch 中构建 NLP 模型时不可或缺的一部分，它允许我们把离散的文本数据转换为连续的、具有语义信息的向量表示，这对于神经网络进行高效学习和理解文本至关重要。通过与各种...
解析Torch中 `Embedding`
sinat_39783664的博客
07-04 1400
pytorch embedding
torch.embedding and EmbeddingBag 详解
岛的博客
05-26 5428
torch.embedding 实际上是一个查找表，一般用来存储词嵌入并通过indices从embedding中恢复词嵌入。 位置： torch.nn.Embedding 参数及官方解释为： num_embeddings (int): size of the dictionary of embeddings embedding_dim (int): the size of each embedding vector padding_idx (int, optional) :If given, pads
nn.Embedding
Lemon_ZL的博客
05-29 787
nn.Embedding( num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None, )一个保存了固定字典和大小的简单查找表。这个模块常用来保存词嵌入和用下标检索它们。模块的输入是一个下标的列表，输出是对应的词嵌入。 num_embeddings (int): size of the dictiona
torch.nn.functional.embedding的参数理解，尤其是weight
rouge_eradiction的博客
04-20 6694
介绍一下我们常用的嵌入函数torch.nn.functional.embedding，先看一下参数：torch.nn.functional.embedding(input, weight, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False)。我们常使用的就是前两个参数。input是在词向量矩阵中的索引列表，词向量矩阵，行数为最大可能的索引数+1，列数为词向量的维度。那么具体是什么含义呢
PyTorch 稀疏函数解析：embedding 、one_hot详解
CDBmax的博客
01-17 2120
本篇博客探讨了 PyTorch 框架中几个关键的稀疏函数，包括embedding和one_hot。这些函数在处理自然语言处理（NLP）任务和其他需要高效、灵活处理大量类别或序列数据的应用中至关重要。embedding函数用于从预定义的嵌入矩阵中检索指定索引的嵌入向量，支持自定义嵌入矩阵大小、填充索引和范数限制。提供了一种高效的方法来处理变长序列，通过聚合（如求和、均值或最大值）嵌入向量，而无需单独处理每个序列。one_hot。
torch.nn.embedding函数的深入解析
szdxcjh的博客
09-27 1450
torch.nn.embedding函数的深入解析问题的开端过程解析总结其他 问题的开端 问题的起源从embedding开始，本人并不是以nlp为主，在看过一些论文和书籍后发现embedding有降维功能，但实际操作后，发现torch.nn.embedding这个函数将每一个元素都扩展成了embedding_dim的tensor，那么怎么达到降维的目的呢？根据在网上查到的博客，需要将元素的tensor加起来，才能降维。如果只理解到这里，问题已经解决，但是，该过程是怎么做的，我们不得而知。因此花了一些时间，阅
Embedding的两种实现方式torch代码
WGS.
07-22 1338
以DNN为例，embedding的两种实现方式
torch.nn.Embedding()
02-14
### 如何在PyTorch中使用`nn.Embedding` #### 创建嵌入层 为了创建一个嵌入层，在 PyTorch 中可以利用 `torch.nn.Embedding` 类。此方法允许指定词汇表大小以及每个词所需的维度数，即嵌入尺寸。这有助于将离散的数据转换成稠密的向量形式[^1]。 ```python import torch from torch import nn vocab_size = 1000 # 假设词汇表中有1000个不同的词语 embedding_dim = 32 # 设定每个词被表示为长度为32的向量 embedding_layer = nn.Embedding(vocab_size, embedding_dim) ``` #### 输入与输出形状 当给定了索引列表作为输入时，这些整数值代表了来自预定义词汇表的位置。通过调用上述构建好的嵌入对象，并传入张量形式的一批索引，即可获得相应位置上词项所对应的学习到的向量表达。值得注意的是，输入应该是一维或多维 LongTensor 或者是自动转换为此类型的其他类型；而输出将会保持相同的前置维度结构不变，仅在其最后增加了一个由设定参数决定的新轴——也就是所谓的“通道”，其大小等于之前设置过的嵌入维度[^3]。 ```python input_indices = torch.LongTensor([1, 2, 4, 5]) # 示例性的四个词的索引 embedded_output = embedding_layer(input_indices) print(f"Input shape: {input_indices.shape}") print(f"Output shape after embedding: {embedded_output.shape}") ``` #### 训练过程中的更新机制 默认情况下，`nn.Embedding` 的权重矩阵是可以参与反向传播过程中梯度计算并随之调整优化的一部分。这意味着随着模型整体性能提升的同时也会不断改进对于各个具体类别/单词的最佳低维空间定位方式[^4]。 ```python criterion = nn.MSELoss() optimizer = torch.optim.SGD(embedding_layer.parameters(), lr=0.01) target = torch.randn(4, embedding_dim) # 随机生成目标值用于演示目的 output = embedding_layer(input_indices) loss = criterion(output, target) loss.backward() optimizer.step() # 更新参数 ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值