PyTorch中的nn.Embedding的使用、参数及案例

最新推荐文章于 2024-03-03 13:47:41 发布
最新推荐文章于 2024-03-03 13:47:41 发布
阅读量1.1k 收藏 11
点赞数 12
分类专栏： PyTorch2深度学习实战入门 文章标签： pytorch embedding 人工智能 深度学习 nlp 自然语言处理 词嵌入
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44144773/article/details/136019400
版权

PyTorch中的nn.Embedding的使用

Embedding层在神经网络中主要起到降维或升维的作用。具体来说，它通过将输入（通常是离散的、不连续的数据，如单词或类别）映射到连续的向量空间，从而实现数据的降维或升维。

在降维方面，Embedding层可以用来降低数据的维度，减少计算和存储开销。例如，在自然语言处理任务中，词嵌入可以将每个单词表示为一个实数向量，从而将高维的词汇空间映射到一个低维的连续向量空间。这有助于提高模型的泛化能力和计算效率。

在升维方面，Embedding层可以将低维的数据映射到高维的空间，以便于提取更丰富的特征或进行更复杂的分析。例如，在图像处理任务中，嵌入层可以将图像的像素值映射到一个高维的空间，从而更好地捕捉图像中的复杂特征和结构。

此外，Embedding层还可以通过训练来学习输入数据中的语义或结构信息，使得相似的输入在嵌入空间中具有相似的向量表示。这种嵌入向量可以用于各种高级任务，如聚类、分类、推荐等。

nn.Embedding：

参数作用
num_embeddings嵌入字典的大小
embedding_dim每个嵌入词向量的大小
padding_idx可选参数：(索引指定填充)如果给定，则遇到padding_idx中的索引，将其位置填0
max_norm可选参数：如果给定，则将范数大于的每个嵌入向量重新规范化为具有范数
norm_type要为选项计算的p-norm的p
scale_grad_by_freq如果给定，这将按小批量中单词频率的倒数来缩放梯度
sparse稀疏张量

在PyTorch中，nn.Embedding用来实现词与词向量的映射。nn.Embedding具有一个权重(weight)，形状是(num_words, embedding_dim)----->(字典大小, 词向量维度)。

例子：

导包：
import torch
import torch.nn
import jieba
分词生成word2indexDict、index2wordDict：
sentence = "Embedding层是深度学习中的一种重要技术，它可以有效地处理高维、离散和非线性的数据，使得神经网络能够更好地理解和处理复杂的问题。"
wordList = list(set(" ".join(jieba.cut(sentence)).split()))
word2indexDict = dict()
index2wordDict = dict()
for index, word in enumerate(wordList):
    word2indexDict[word] = index + 1
    index2wordDict[index + 1] = word
方法word2index、index2word：
def word2index(wordList, word2indexDict):
    indexList = list()
    for word in wordList:
        indexList.append(word2indexDict[word])
    return indexList
def index2word(indexList, index2wordDict):
    wordList = list()
    for index in indexList:
        wordList.append(index2wordDict[index])
    return wordList

在自然语言处理中，padding是一个常见的处理方法，用于统一不同长度的序列到一个固定的长度。这主要是因为深度学习模型，特别是循环神经网络（RNN）和长短时记忆网络（LSTM），通常需要固定长度的输入序列。

  1. 统一不同长度的序列：当一个批次中有不同长度的句子时，需要将它们统一到一个固定的长度。padding可以将短的句子填充到固定长度，使得每个序列的长度都一致。
  2. 保证模型稳定性：固定长度的输入序列可以提高模型的稳定性。因为模型在训练时可以固定输入的维度，从而更容易训练和优化。
  3. 防止过拟合：当使用RNN或LSTM等循环神经网络时，如果输入的序列长度差异很大，模型的训练时间会增加，而且容易产生过拟合。通过padding，可以使得每个序列的长度相同，从而更容易控制模型的复杂度。
padding句子index方法：
def paddingIndexList(indexList, maxLength):
    if len(indexList) > maxLength:
        return indexList[:maxLength]
    else:
        for i in range(maxLength - len(indexList)):
            indexList.append(0)
        return indexList
def paddingIndex(sentenceList, word2indexDict, maxLength):
    sentenceIndexList = list()
    for sentence in sentenceList:
        # 分词
        sentenceList = " ".join(jieba.cut(sentence)).split()
        indexList = word2index(sentenceList, word2indexDict)
        indexList = paddingIndexList(indexList, maxLength)
        sentenceIndexList.append(indexList)
    return sentenceIndexList
nn.Embedding的使用：
# 创建最大词个数为词字典长度，每个词用维度为3表示
# index从1开始的所以len(word2indexDict) + 1
embedding = nn.Embedding(len(word2indexDict) + 1, 3)
# 转换为tensor
x = torch.LongTensor(x)
out = embedding(x)
# 输入的形状
print(x.shape)
# 词嵌入矩阵形状
print(out.shape)
# 词嵌入矩阵
print(out)
# 词嵌入权重
print(embedding.weight)

输出：

torch.Size([3, 12])
torch.Size([3, 12, 3])
tensor([[[-0.2272, -0.6535,  1.4155],
         [-0.2961,  0.5435,  0.3829],
         [ 0.9255, -1.4417,  0.6543],
         [-0.0796, -0.5464, -0.1243],
         [-0.7846, -1.2652, -0.8326],
         [-0.2464,  1.0438,  0.3106],
         [-0.4759,  0.5017, -1.6207],
         [ 0.6134,  0.9412, -0.9230],
         [ 0.1368, -0.8741, -2.1221],
         [ 0.4055, -0.1992,  1.2301],
         [-0.4898,  1.0194,  0.3048],
         [-0.4898,  1.0194,  0.3048]],

        [[-0.1783,  1.0126,  2.7392],
         [ 2.9278,  0.6301, -1.4197],
         [ 1.9807,  1.7687, -0.1354],
         [-1.3087, -0.1205,  0.4163],
         [ 0.2636,  0.6082,  1.6028],
         [ 1.4193, -0.1932, -0.9246],
         [-0.5884, -1.4016,  0.7351],
         [-0.4310,  0.6724,  1.2530],
         [ 1.3704, -0.0102,  0.3129],
         [ 1.0435, -0.9689,  0.4574],
         [-0.4759,  0.5017, -1.6207],
         [ 0.5711,  1.0981, -0.1208]],
        
        [[-0.0969,  0.4424,  2.7773],
         [ 0.1563, -1.5930,  0.0504],
         [ 0.2673, -0.1552, -0.9901],
         [ 0.6867, -1.3702,  1.6596],
         [-1.3087, -0.1205,  0.4163],
         [ 1.3590, -0.4433,  0.4342],
         [ 1.3704, -0.0102,  0.3129],
         [ 0.2636,  0.6082,  1.6028],
         [ 0.4744, -0.3505, -1.1645],
         [-0.4759,  0.5017, -1.6207],
         [-0.3297,  2.3305,  1.3228],
         [-0.4898,  1.0194,  0.3048]]], grad_fn=<EmbeddingBackward0>)
Parameter containing:
tensor([[-0.4898,  1.0194,  0.3048],
        [-0.1783,  1.0126,  2.7392],
        [ 0.2673, -0.1552, -0.9901],
        [ 1.4193, -0.1932, -0.9246],
        [-0.4310,  0.6724,  1.2530],
        [-0.2272, -0.6535,  1.4155],
        [ 2.9278,  0.6301, -1.4197],
        [ 0.4055, -0.1992,  1.2301],
        [-0.2464,  1.0438,  0.3106],
        [ 0.6777, -1.4049, -1.0489],
        [ 1.9807,  1.7687, -0.1354],
        [ 1.3590, -0.4433,  0.4342],
        [ 1.0435, -0.9689,  0.4574],
        [-0.3297,  2.3305,  1.3228],
        [-0.2961,  0.5435,  0.3829],
        [ 0.4744, -0.3505, -1.1645],
        [ 0.6134,  0.9412, -0.9230],
        [ 1.3704, -0.0102,  0.3129],
        [ 0.5711,  1.0981, -0.1208],
        [-0.0969,  0.4424,  2.7773],
        [ 0.1563, -1.5930,  0.0504],
        [-0.7846, -1.2652, -0.8326],
        [ 0.2636,  0.6082,  1.6028],
        [-1.3087, -0.1205,  0.4163],
        [-0.0796, -0.5464, -0.1243],
        [ 0.8210,  0.2765,  0.4816],
        [ 0.1368, -0.8741, -2.1221],
        [-0.4759,  0.5017, -1.6207],
        [ 0.6867, -1.3702,  1.6596],
        [ 0.9255, -1.4417,  0.6543],
        [-0.5884, -1.4016,  0.7351]], requires_grad=True)
神奇的布欧
关注
  • 12
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pytorch中nn.Conv1d的用法详解
09-18
今天小编就为大家分享一篇pytorch中nn.Conv1d的用法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
对Pytorch中nn.ModuleList 和 nn.Sequential详解
09-18
今天小编就为大家分享一篇对Pytorch中nn.ModuleList 和 nn.Sequential详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
nn.Embedding 理解及其参数 padding_idx含义
最新发布
Carl_changxin的博客
03-03 354
误区文章：https://blog.csdn.net/weixin_38257276/article/details/114195454。看到一些文章对Embedding层理解上存在误区，故贡献一点自己的想法。
有关torch.nn.embedding的bug解决记录
谁谓荼苦，其甘如荠
10-13 1万+
废话少叙，直接上Traceback File "/home/shenfei1/anaconda3/envs/bert/lib/python3.6/site-packages/torch/nn/functional.py", line 1484, in embedding return torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse) RuntimeError: Expected tensor fo
nn.Embedding
qq_31225201的博客
03-06 1861
在使用nn.Embedding的时候最容易出现IndexError: index out of range in self错误，原因在于tensor中的值越界了。 官方解释中： num_embeddings (int) – size of the dictionary of embeddings embedding_dim (int) – the size of each embedding vector 上述num_embeddings值通常是输入的数量值，因为输入通常从0开始编码，比如编码到0-499
nn.Embedding使用
HJ_blog
12-13 1460
nn.Embedding词向量化
深度学习：pytorch nn.Embedding详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-18 9586
nn.Embedding是PyTorch中的一个常用模块，其主要作用是将输入的整数序列转换为密集向量表示。在自然语言处理（NLP）任务中，可以将每个单词表示成一个向量，从而方便进行下一步的计算和处理。
pytorch nn.Embedding的用法和理解
热门推荐
qq_39540454的博客
03-25 6万+
首先来看official docs对nn.Embedding的定义： 是一个lookup table，存储了固定大小的dictionary（的word embeddings）。输入是indices，来获取指定indices的word embedding向量。 官方文档的示例： >>> # an Embedding module containing 10 tensors of size 3 >>> embedding = nn.Embedding(10, 3) &gt
关于nn.Embedding的解释，以及它是如何将一句话变成vector的
家里没矿
03-10 1万+
首先我们来看Embedding的参数。 nn.Embedding((num_embeddings,embedding_dim) 其中，num_embeddings代表词典大小尺寸，比如训练时所可能出现的词语一共5000个词，那么就有num_embedding=5000，而embedding_dim表示嵌入向量的维度，即用多少来表示一个符号。提到embedding_dim，就不得先从one_hot向量说起。 最初的时候，人们将word转换位vector是利用one_hot向量来实现的。简单来讲，现在词典里一
深入理解PyTorch中的nn.Embedding
⚡
06-27 9035
深入理解nn.Embedding模块
nn.embedding函数详解(pytorch)
weixin_38252409的博客
11-06 2777
最近发现prompt工程(如sam模型)，也有transform的detr模型等都使用了nn.Embedding函数，对points、boxes或learn query进行编码或解码。因此，我想写一篇文章作为记录，本想简单对其 介绍，但写着写着就想把所有与它相关东西作为记录。本文章探讨了nn.Embedding参数、使用方法、模型训练与预测的变化，并附有列子源码作为支撑 ，呈现一个较为完善的理解内容。
浅析PyTorch中nn.Linear的使用
09-18
主要介绍了浅析PyTorch中nn.Linear的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
浅析PyTorch中nn.Module的使用
09-18
主要介绍了浅析PyTorch中nn.Module的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
【文本特征表征（1）】什么是embedding（把物体编码为一个低维稠密向量）pytorch中nn.Embedding原理及使用，大模型的LMAS.Embedding原理及使用
Hali_Botebie的博客
06-15 1万+
使embedding空前流行的“word2vec”到了深度学习时代，我们一定会首先想到 2013 年的 Word2Vec——没错，句子是由词构成的，有了词向量，句子向量自然而然呼之欲出了。直觉看，直接对每个词的向量拼接、求和、逐元素相乘、取平均值或最大值，得到的向量都可以表示为句子向量。当然，这里面也有一些花样，比如加权重求和：权重可以根据词性、句法结构等设定一个固定值，然后对每个位置的词向量乘权重再求和；权重也可以根据输入向量来，输出向量的_每个元素_都根据输入元素向量进行加权求和。
Pytorch nn.Embedding的基本使用
zhaohongfei_358的博客
02-07 6612
什么情况下使用Embedding nn.Embedding的基本用法 nn.Embedding的其他常用参数 nn.Embedding的可学习性
【Pytorch：nn.Embedding】简介以及使用方法：用于生成固定数量的具有指定维度的嵌入向量embedding vector
m0_48086806的博客
08-11 1608
【Pytorch：nn.Embedding】简介以及使用方法：用于生成固定数量的具有指定维度的嵌入向量embedding vector
torch.nn.Embedding()的固定化
Running Snail
05-26 1356
问题 最近在运行模型时，结果不稳定，所以尝试修改随机初始化的参数，使参数是随机初始化的，但是每次都一样 发现是用了 self.embed_user = nn.Embedding(user_num, factor_num) self.embed_item = nn.Embedding(item_num, factor_num) 是调用了torch.nn.Embedding()进行了初始化， 创建了一个嵌入的模型 尝试一 发现对于embed_user的调用都是weight users_embedd
torch.nn.Embedding()详解
weixin_43421371的博客
05-04 7354
PyTorch中的Embedding Layer 一、语法格式 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None) 1、参数说明 （1）num_embeddings(int）：语料
Pytorch中的Embedding方法
F845992311的博客
03-14 8802
在深度学习中，构建用户或物品的embedding是很常见的操作，那么在pytorch中是如何去做的呢？接下来我们就介绍非常重要的一个方法即：torch.nn.Embedding()。老规矩先来看一个小例子： # 导包，需要torch和torch.nn import torch from torch import nn # 构建一个embedding module，其包含5个size为3的tensor # 这里的embedding相当于是一个Embedding层，写于forward()方法中，还...
Pytorch nn.embedding
05-25
PyTorch's `nn.Embedding` is a module that allows you to create an embedding layer in your neural network. An embedding layer takes as input a tensor of integer indices, and returns as output a tensor of learnable embeddings corresponding to those indices. For example, if you have a vocabulary of size `V`, you can create an embedding layer that will map each word in your vocabulary to a `d`-dimensional vector. To do this, you would create an `nn.Embedding` module with input size `V` and output size `d`. Here is an example of how you can use `nn.Embedding` to create an embedding layer: ``` import torch import torch.nn as nn vocab_size = 10000 embedding_dim = 300 input_indices = torch.LongTensor([[1, 4, 6], [2, 3, 0]]) embedding_layer = nn.Embedding(vocab_size, embedding_dim) embeddings = embedding_layer(input_indices) ``` In this example, we create an embedding layer with input size `vocab_size` (which is 10000 in this case) and output size `embedding_dim` (which is 300 in this case). We then create a tensor `input_indices` with shape `(2, 3)` that contains integer indices corresponding to words in our vocabulary. Finally, we pass `input_indices` through the embedding layer to obtain a tensor `embeddings` with shape `(2, 3, 300)` containing the learned embeddings for each word index.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

神奇的布欧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值