深入理解PyTorch中的nn.Embedding

置顶 已于 2024-07-02 11:41:57 修改
阅读量1w 收藏 262
点赞数 95
分类专栏： 深度学习 文章标签： pytorch 人工智能 python
于 2022-06-27 13:07:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/raelum/article/details/125462028
版权
深度学习 专栏收录该内容
26 篇文章 9 订阅 ¥15.90 ¥99.00
订阅专栏

目录

一、前置知识

1.1 语料库（Corpus）

太长不看版： NLP任务所依赖的语言数据称为语料库。

详细介绍版： 语料库（Corpus，复数是Corpora）是组织成数据集的真实文本或音频的集合。 此处的真实是指由该语言的母语者制作的文本或音频。 语料库可以由从报纸、小说、食谱、广播到电视节目、电影和推文的所有内容组成。 在自然语言处理中，语料库包含可用于训练 AI 的文本和语音数据。

1.2 词元（Token）

为简便起见，假设我们的语料库只有三个英文句子并且均已经过处理（全部小写+去掉标点符号）：

corpus = ["he is an old worker", "english
了解本专栏 订阅专栏 解锁全文
Iareges
关注
专栏目录
订阅专栏
【Pytorch实用教程】nn.Embedding和nn.EmbeddingBag用法详解
惊鸿若梦一书生
08-08 209
`nn.Embedding` 将索引映射到嵌入向量，适用于需要获取每个索引对应的嵌入向量的场景，如词嵌入；`nn.EmbeddingBag` 将多个索引的嵌入向量聚合（如求和或平均），适用于需要对多个嵌入向量进行聚合的场景，如词袋模型或 TF-IDF。
pytorch中的embedding词向量的使用方法
09-18
在PyTorch中，创建一个词嵌入层非常直接，只需调用`torch.nn.Embedding(m, n)`函数，其中`m`代表单词的总数，`n`代表词嵌入的维度。词嵌入本质上是一个参数化的矩阵，其大小为`[m, n]`，每行代表一个单词的嵌入向量...
深度学习：pytorch nn.Embedding详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-18 2万+
nn.Embedding是PyTorch中的一个常用模块，其主要作用是将输入的整数序列转换为密集向量表示。在自然语言处理（NLP）任务中，可以将每个单词表示成一个向量，从而方便进行下一步的计算和处理。
通俗讲解pytorch中nn.Embedding原理及使用
taoqick的专栏
10-01 3100
每个mini-batch的训练，都要从词向量表找到mini-batch对应的单词的词向量作为RNN的输入放进网络。上面batch有3个样例，RNN的每一步要输入每个样例的一个单词，一次输入batch_size个样例，所以batch要按list外层是时间步数(即序列长度)，list内层是batch_size排列。其为一个简单的存储固定大小的词典的嵌入向量的查找表，意思就是说，给一个编号，嵌入层就能返回这个编号对应的嵌入向量，嵌入向量反映了各个编号代表的符号之间的语义关系。维度的前两维和前面讲的是一致的。
torch.nn.embedding的介绍和用法
最新发布
xw555666的博客
02-24 1622
nn.Embedding是 PyTorch 中的一个神经网络层，它主要用于将离散的、高维的数据（如词索引）转换为连续的、低维的空间中的稠密向量表示。在自然语言处理（NLP）中，这个层通常用于实现词嵌入（Word Embeddings），即将每个单词映射到一个固定长度的向量上，使得具有相似语义的单词在向量空间中距离相近。
Pytorch nn.Embedding
qq_40107571的博客
12-15 507
Pytorch nn.Embedding
pytorch nn.Embedding的用法和理解
热门推荐
qq_39540454的博客
03-25 6万+
首先来看official docs对nn.Embedding的定义： 是一个lookup table，存储了固定大小的dictionary（的word embeddings）。输入是indices，来获取指定indices的word embedding向量。 官方文档的示例： >>> # an Embedding module containing 10 tensors of size 3 >>> embedding = nn.Embedding(10, 3) &gt
关于nn.Embedding的解释，以及它是如何将一句话变成vector的
家里没矿
03-10 2万+
首先我们来看Embedding的参数。 nn.Embedding((num_embeddings,embedding_dim) 其中，num_embeddings代表词典大小尺寸，比如训练时所可能出现的词语一共5000个词，那么就有num_embedding=5000，而embedding_dim表示嵌入向量的维度，即用多少来表示一个符号。提到embedding_dim，就不得先从one_hot向量说起。 最初的时候，人们将word转换位vector是利用one_hot向量来实现的。简单来讲，现在词典里一
nn.embedding函数详解(pytorch)
weixin_38252409的博客
11-06 5133
最近发现prompt工程(如sam模型)，也有transform的detr模型等都使用了nn.Embedding函数，对points、boxes或learn query进行编码或解码。因此，我想写一篇文章作为记录，本想简单对其 介绍，但写着写着就想把所有与它相关东西作为记录。本文章探讨了nn.Embedding参数、使用方法、模型训练与预测的变化，并附有列子源码作为支撑 ，呈现一个较为完善的理解内容。
【pytorch】有关nn.EMBEDDING的简单介绍
安安爸Chris的专栏
09-29 4339
假设有一本字典，就一共只有10单词，每个单词有5个字母组成。每一页上只写一个单词，所以这10页纸上分别写了这10个单词。内如如下，我们假定这本字典叫, 这里的10和5即上面介绍的含义，10个单词，每个单词5个字母；现在我要查看第2页和第3页（从0开始），那么我会得到 [s,m,a,l,l]， [w,a,t,c,h] 内容。假定我们约定一个暗号，你告诉我页数，我就返回对应页数的单词。如，你发给我暗号 [ [2,3], [1,0], [8,6] ] (
Pytorch中的Embedding方法
F845992311的博客
03-14 9022
在深度学习中，构建用户或物品的embedding是很常见的操作，那么在pytorch中是如何去做的呢？接下来我们就介绍非常重要的一个方法即：torch.nn.Embedding()。老规矩先来看一个小例子： # 导包，需要torch和torch.nn import torch from torch import nn # 构建一个embedding module，其包含5个size为3的tensor # 这里的embedding相当于是一个Embedding层，写于forward()方法中，还...
torch.nn.embedding()大致使用方法
12-20
总的来说，`torch.nn.Embedding()` 是 PyTorch 中构建 NLP 模型时不可或缺的一部分，它允许我们把离散的文本数据转换为连续的、具有语义信息的向量表示，这对于神经网络进行高效学习和理解文本至关重要。通过与各种...
Transformer Pytorch代码解读.pptx
07-20
在PyTorch中，可以利用`torch.nn.Transformer`模块或`transformers`库（如Hugging Face的实现）来构建和训练Transformer模型。这些库提供了编码器、解码器以及完整的Transformer结构的实现，使得开发者可以方便地...
facenet-pytorch-master.zip
08-21
在PyTorch中，我们可以使用`nn.Module`定义模型结构，并通过`torch.optim`进行优化器设置。 3. **训练过程**：训练FaceNet涉及到对损失函数的选择，如三重损失（triplet loss），以及对训练数据的采样策略。三重...
【Pytorch：nn.Embedding】简介以及使用方法：用于生成固定数量的具有指定维度的嵌入向量embedding vector
m0_48086806的博客
08-11 2279
【Pytorch：nn.Embedding】简介以及使用方法：用于生成固定数量的具有指定维度的嵌入向量embedding vector
pytorch复习笔记--nn.Embedding()的用法
牵一只蜗牛去散步
12-06 4709
nn.Embedding()产生一个权重矩阵weight，其shape为（num_embeddings, embedding_dim），表示生成num_embeddings个具有embedding_dim大小的嵌入向量；输入input的形状shape为（batch_size, Seq_len），batch_size表示样本数（NLP句子数），Seq_len表示序列的长度（每个句子单词个数）；nn.Embedding(input)的输出output具有（batch_size，Seq_len，embedding
nn.Embedding详解
001
02-16 719
是 PyTorch 中的一个模块，用于将离散的单词或标签等转换成一个固定大小的连续向量，通常在处理自然语言处理任务时用于单词的向量表示。创建了一个嵌入矩阵，每一行代表一个单词的向量。当索引通过嵌入层时，它会返回相应的词向量。包含了词汇表中的单词索引，
pytorch embedding层详解（从原理到实战）
skywf的博客
03-06 5万+
做nlp很多时候要用到嵌入层，pytorch中自带了这个层 什么是embedding层 这是一个写的比较好的 我用最通俗的语言给你讲 在nlp里，embedding层就是把单词表[‘你’，‘好’，‘吗’] 编码成 ‘你’ --------------[0.2,0.1] ‘好’ --------------[0.3,0.2] ‘吗’ --------------[0.6,0.5] 的向量的办...
nn.embedding参数
07-14
nn.embedding参数是在神经网络中用于将离散的输入（例如单词、类别等）转换为连续的向量表示的一种技术。在PyTorch中，nn.Embedding是一个用于实现这种功能的模块。 nn.Embedding接受两个参数：num_embeddings和embedding_dim。num_embeddings表示输入的离散值的取值范围，embedding_dim表示将离散值映射为连续向量时的维度。 例如，假设我们有一个词汇表，其中包含10000个单词，我们想将这些单词映射为一个300维的向量表示。我们可以使用nn.Embedding(10000, 300)来创建一个嵌入层。 在实际应用中，可以通过调用嵌入层的forward方法来将离散输入转换为嵌入向量。例如，假设我们有一个大小为(32, 10)的张量作为输入，表示一个批次中的10个样本，每个样本由32个单词组成。我们可以通过调用embedding层的forward方法来将这些单词转换为嵌入向量，得到一个大小为(32, 10, 300)的张量，其中300是嵌入维度。 总之，nn.Embedding是PyTorch中用于将离散输入映射为连续向量表示的模块，它的参数num_embeddings表示输入的离散值的取值范围，embedding_dim表示嵌入向量的维度。
评论 20
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Iareges

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值