Pytorch: nn.Embedding

已于 2024-05-01 16:47:40 修改
阅读量1k 收藏 21
点赞数 22
文章标签： pytorch embedding 人工智能
于 2024-05-01 16:43:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xy_optics/article/details/138375231
版权

文章目录

1. 本质

P y t o r c h \mathrm{Pytorch} Pytorch 的 E m b e d d i n g \mathrm{Embedding} Embedding 模块是一个简单的查找表，用于存储固定字典和大小的嵌入。 n n . E m b e d d i n g \mathrm{nn.Embedding} nn.Embedding 层本质上是一个权重矩阵，其中每一行代表词汇表中每个单词的向量表示。这个权重矩阵的大小是 [ n u m _ e m b e d d i n g s , e m b e d d i n g _ d i m ] \mathrm{[num\_embeddings, embedding\_dim]} [num_embeddings,embedding_dim]，其中 n u m _ e m b e d d i n g s \mathrm{num\_embeddings} num_embeddings 是词汇表的大小， e m b e d d i n g _ d i m \mathrm{embedding\_dim} embedding_dim 是嵌入向量的维度。

2. 用Embedding产生一个10 x 5 的随机词典

先用 E m b e d d i n g \mathrm{Embedding} Embedding 产生一个维度为 10 × 5 10\times5 10×5 的词典， 10 10 10 代表有十个词向量， 5 5 5 代表有每个词向量有 5 5 5​ 个元素。

import torch
import torch.nn as nn

embed = nn.Embedding(num_embeddings=10, embedding_dim=5)
embedding_matrix = embed.weight.data

print(f"nn Embedding 产生的词典是：\n {embedding_matrix.data}")
# nn Embedding 产生的词典是：
#  tensor([[ 0.9631, -1.4984,  1.0561,  0.4334,  1.3060],
#         [ 0.1714,  0.1842,  0.0532,  0.4573, -0.7236],
#         [ 0.4692,  1.2857,  0.5260, -1.0966, -1.6009],
#         [-0.7893, -0.2117,  0.0158,  1.1008,  0.9786],
#         [ 0.9095, -0.4467, -0.6501,  0.6469, -0.3829],
#         [-0.1534, -0.0128,  1.2285, -1.4347,  0.1968],
#         [-2.0171,  1.0805, -0.7189,  0.6184,  0.6858],
#         [-0.1328, -1.2482, -0.2517, -0.4750,  0.3215],
#         [-0.7670, -0.0462, -0.4849, -0.6647, -0.6340],
#         [ 0.7415, -2.2321,  1.3444,  0.3786, -0.2909]])

上述词典如下图所示，

在这里插入图片描述

3. 用这个词典编码两个简单单词

现在，我们将两个单词 p y t h o n , p y t o r c h \mathrm{python,pytorch} python,pytorch 用上面的词典编码成两个词向量。

  1. 建立这两个单词的列表，并获取各自的 i n d e x \mathrm{index} index；

    # 示例：将两个单词“python”、“pytorch”根据上面的词典编码为对应的词向量
words_to_embed = ['python', 'pytorch']

# 获取每个单词的index,很明显，'python'的index是0， 'pytorch'的index是1。
word_index = torch.LongTensor([0, 1])

  2. 将这两个 i n d e x \mathrm{index} index 传入词典，就可以获取对应的词向量；

    # 示例：将两个单词“python”、“pytorch”根据上面的词典编码为对应的词向量
words_to_embed = ['python', 'pytorch']

# 获取每个单词的index,很明显，'python'的index是0， 'pytorch'的index是1。
word_index = torch.LongTensor([0, 1])

# 将这两个index传入词典，就可以获取对应的词向量
embedded_words = embed(word_index)
print(f"编码后的词向量为：\n{embedded_words.data.numpy()}")
# 编码后的词向量为：
# [[ 0.96313465 -1.4984448   1.0561345   0.43344542  1.3059521 ]
#  [ 0.17135063  0.18418191  0.05320966  0.45726374 -0.72364354]]

  3. p y t h o n \mathrm{python} python 这个单词的 i n d e x \mathrm{index} index 是0，对应的就是词典的第一行， p y t o r c h \mathrm{pytorch} pytorch 这个单词 i n d e x \mathrm{index} index 是1，对应的就是词典的第二行。

    print(f"python 这个词对应的词向量为： \n{embedded_words.data.numpy()[0,:]}")
# python 这个词对应的词向量为：
# [ 0.96313465 -1.4984448   1.0561345   0.43344542  1.3059521 ]

print(f"pytorch 这个词对应的词向量为： \n{embedded_words.data.numpy()[1,:]}")
# pytorch 这个词对应的词向量为：
# [ 0.17135063  0.18418191  0.05320966  0.45726374 -0.72364354]

在这里插入图片描述

4. Embedding的词典是可以学习的

  • E m b e d d i n g \mathrm{Embedding} Embedding 产生的权重矩阵是可以学习的，意味着在模型的训练过程中，通过反向传播算法，嵌入向量会根据损失函数不断更新，以更好地表示数据中的语义关系。
  • 在很多情况下，尤其是当训练数据较少时，使用预训练的嵌入向量（如 W o r d 2 V e c \mathrm{Word2Vec} Word2Vec）可以显著提高模型的性能。这些预训练向量通常是在非常大的文本语料库上训练得到的，能够捕捉到丰富的语义信息。在 P y t o r c h \mathrm{Pytorch} Pytorch 中，你可以通过初始化 n n . E m b e d d i n g \mathrm{nn.Embedding} nn.Embedding 层的权重为这些预训练向量来使用它们。即使使用预训练向量，你也可以选择在训练过程中进一步微调（更新）这些向量，或者保持它们不变。

5. 例子完整代码

import torch
import torch.nn as nn
import numpy as np

embed = nn.Embedding(num_embeddings=10, embedding_dim=5)
embedding_matrix = embed.weight.data
print(f"nn Embedding 产生的词典是：\n {embedding_matrix.data}")
# nn Embedding 产生的词典是：
#  tensor([[ 0.9631, -1.4984,  1.0561,  0.4334,  1.3060],
#         [ 0.1714,  0.1842,  0.0532,  0.4573, -0.7236],
#         [ 0.4692,  1.2857,  0.5260, -1.0966, -1.6009],
#         [-0.7893, -0.2117,  0.0158,  1.1008,  0.9786],
#         [ 0.9095, -0.4467, -0.6501,  0.6469, -0.3829],
#         [-0.1534, -0.0128,  1.2285, -1.4347,  0.1968],
#         [-2.0171,  1.0805, -0.7189,  0.6184,  0.6858],
#         [-0.1328, -1.2482, -0.2517, -0.4750,  0.3215],
#         [-0.7670, -0.0462, -0.4849, -0.6647, -0.6340],
#         [ 0.7415, -2.2321,  1.3444,  0.3786, -0.2909]])


# 示例：将两个单词“python”、“pytorch”根据上面的词典编码为对应的词向量
words_to_embed = ['python', 'pytorch']
# 获取每个单词的index,很明显，'python'的index是0， 'pytorch'的index是1。
word_index = torch.LongTensor([0, 1])
# 将这两个index传入词典，就可以获取对应的词向量
embedded_words = embed(word_index)
print(f"编码后的词向量为：\n{embedded_words.data.numpy()}")
# 编码后的词向量为：
# [[ 0.96313465 -1.4984448   1.0561345   0.43344542  1.3059521 ]
#  [ 0.17135063  0.18418191  0.05320966  0.45726374 -0.72364354]]
print(f"python 这个词对应的词向量为： \n{embedded_words.data.numpy()[0,:]}")
# python 这个词对应的词向量为：
# [ 0.96313465 -1.4984448   1.0561345   0.43344542  1.3059521 ]
print(f"pytorch 这个词对应的词向量为： \n{embedded_words.data.numpy()[1,:]}")
# pytorch 这个词对应的词向量为：
# [ 0.17135063  0.18418191  0.05320966  0.45726374 -0.72364354]
xy_optics
关注
  • 22
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
PyTorch之nn.ReLU与F.ReLU的区别介绍
12-17
import torch.nn as nn import torch.nn.functional as F import torch.nn as nn class AlexNet_1(nn.Module): def __init__(self, num_classes=n): super(AlexNet, self).__init__() self.features = nn....
浅析PyTorch中nn.Module的使用
09-18
主要介绍了浅析PyTorch中nn.Module的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pytorch nn.Embedding的用法和理解
qq_39540454的博客
03-25 6万+
首先来看official docs对nn.Embedding的定义： 是一个lookup table，存储了固定大小的dictionary（的word embeddings）。输入是indices，来获取指定indices的word embedding向量。 官方文档的示例： >>> # an Embedding module containing 10 tensors of size 3 >>> embedding = nn.Embedding(10, 3) &gt
pytorch之nn.Conv1d详解
热门推荐
sunny_xsc1994的专栏
10-08 29万+
之前学习pytorch用于文本分类的时候，用到了一维卷积，花了点时间了解其中的原理，看网上也没有详细解释的博客，所以就记录一下。 Conv1d class torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True) in_channe...
PyTorch：nn.Embedding.weight和nn.Embedding的区别
龙雪的博客
09-20 1611
如果非直接使用nn.Embedding而使用nn.Embedding.weight来作为变量，其随机初始化方式是自带标准正态分布，即均值0，方差1的正态分布。
深入理解PyTorch中的nn.Embedding
⚡
06-27 9360
深入理解nn.Embedding模块
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
zhaohongfei_358的博客
07-28 7万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
深度学习：pytorch nn.Embedding详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-18 1万+
nn.Embedding是PyTorch中的一个常用模块，其主要作用是将输入的整数序列转换为密集向量表示。在自然语言处理（NLP）任务中，可以将每个单词表示成一个向量，从而方便进行下一步的计算和处理。
【pytorch】 nn.MultiheadAttention 详解
sazass的博客
06-29 4万+
关于MultiheadAttention ： 一种注意力机制，常置于Transformer的开头。 Transformer自2017年推出之后，已经横扫NLP领域，成为当之无愧的state-of-the-art。原始paper “Attention is All you Need”中对attention提出了通用的query/key/value抽象。 新型的网络结构： Transformer，里面所包含的注意力机制称之为 self-attention。这套 Transformer 是能够计算 input 和
Pytorch nn.Embedding的基本使用
zhaohongfei_358的博客
02-07 6810
什么情况下使用Embedding nn.Embedding的基本用法 nn.Embedding的其他常用参数 nn.Embedding的可学习性
【PyTorch】nn.Embedding
zzy_NIC的博客
11-24 822
torch.nn.Embedding 的详细介绍！
对Pytorch中nn.ModuleList 和 nn.Sequential详解
09-18
今天小编就为大家分享一篇对Pytorch中nn.ModuleList 和 nn.Sequential详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
浅析PyTorch中nn.Linear的使用
09-18
主要介绍了浅析PyTorch中nn.Linear的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pytorch中nn.Conv1d的用法详解
09-18
今天小编就为大家分享一篇pytorch中nn.Conv1d的用法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
图神经网络入门示例：使用PyTorch Geometric 进行节点分类
deephub
05-17 4098
在本文中，我们将一个CSV文件转换为数据对象，然后使用PyTorch为节点分类任务构建基于图的神经网络。并且训练了两种不同类型的神经网络——多层感知器(MLP)和图卷积网络(GCN)。结果表明，GCN模型在该数据集上的表现明显优于MLP模型。本文介绍的主要流程是我们训练图神经网络的基本流程，尤其是前期的数据处理和加载，通过扩展本文的基本流程可以应对几乎所有图神经网络问题。作者：Claudia Ng。
PyTorch中的形状变换术：reshape、view与permute的区别与联系
mariodf的博客
05-17 313
PyTorch中的形状变换术：reshape、view与permute的区别与联系
Rust：如何使用 Pytorch 深度学习模型？
程序猿视角
05-17 333
crate需要与LibTorch库一起使用，因此你需要在系统中安装LibTorch，并确保Rust程序在编译时能够找到它。下面是一个简单的例子，展示了如何在Rust程序中加载一个PyTorch模型并进行预测。假设你已经有一个训练好的PyTorch模型，例如一个简单的线性回归模型，并将其保存为。最后，请确保你的Rust环境已经正确设置，并且你已经安装了与你的PyTorch模型兼容的LibTorch库。请注意，这个例子假设你已经有了一个训练好的PyTorch模型，并且该模型是用PyTorch的。
pytorch文本分类（四）模型框架（模型训练与验证）
最新发布
qq_33489955的博客
05-20 806
本文是在原本闯关训练的基础上总结得来，加入了自己的理解以及疑问解答（by GPT4） 选定了模型框架后，需要对神经网络模型进行训练，主要有3个步骤：接下来详细介绍这3个步骤。构建模型结构，主要有神经网络结构设计、激活函数的选择、模型权重如何初始化、网络层是否批标准化、正则化策略的设定。 由于在关卡四中介绍了神经网络结构设计和激活函数的选择，这里不过多介绍，下面简单介绍下权重初始化，批标准化和正则化策略。权重初始化 权重参数初始化可以加速模型收敛速度，影响模型结果。常用的初始化方法有：批标准化 batch n
Pytorch nn.embedding
05-25
PyTorch's `nn.Embedding` is a module that allows you to create an embedding layer in your neural network. An embedding layer takes as input a tensor of integer indices, and returns as output a tensor of learnable embeddings corresponding to those indices. For example, if you have a vocabulary of size `V`, you can create an embedding layer that will map each word in your vocabulary to a `d`-dimensional vector. To do this, you would create an `nn.Embedding` module with input size `V` and output size `d`. Here is an example of how you can use `nn.Embedding` to create an embedding layer: ``` import torch import torch.nn as nn vocab_size = 10000 embedding_dim = 300 input_indices = torch.LongTensor([[1, 4, 6], [2, 3, 0]]) embedding_layer = nn.Embedding(vocab_size, embedding_dim) embeddings = embedding_layer(input_indices) ``` In this example, we create an embedding layer with input size `vocab_size` (which is 10000 in this case) and output size `embedding_dim` (which is 300 in this case). We then create a tensor `input_indices` with shape `(2, 3)` that contains integer indices corresponding to words in our vocabulary. Finally, we pass `input_indices` through the embedding layer to obtain a tensor `embeddings` with shape `(2, 3, 300)` containing the learned embeddings for each word index.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xy_optics

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值