nn.Embedding（num_embeddings=vocab_size, embedding_dim=embed_dim）

最新推荐文章于 2023-11-02 14:27:14 发布
最新推荐文章于 2023-11-02 14:27:14 发布
阅读量2.4k 收藏 3
点赞数 4
分类专栏： 机器学习 文章标签： python jupyter 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40286308/article/details/121418735
版权

这个函数的作用是，对你的词表产生一个嵌入表，这个嵌入只保证唯一性，不保证相关性（所以和word2vec还是有区别的）。

self.embedding = nn.Embedding（num_embeddings=vocab_size, embedding_dim=embed_dim）

是他的定义式。其中num_embeddings定义了词表的长度，embedding_dim定义了嵌入的长度。

在使用时，直接调用：

embedding = self.embedding(input)

这里的 input 应为一个下标列表，输出即为对应的嵌入。

The input to the module is a list of indices, and the output is the corresponding
word embeddings.

少玩游戏多看代码
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
fnn.zip_FNN_The Method Method_embedding dimension_embedding time
09-23
Programm FNN calculates the embedding dimension f a time serie using the method of false nearest neighbors.
embedding_dimension.rar_embedding dimension
07-15
計算embedding dimension. 可檢測時間序列之embedm, fnn1, fnn2三數值
[深度学习] 自然语言处理 --- 文本分类模型总结
摩登都市天空---专栏
07-23 1万+
文本分类 包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMO，BERT等）的文本分类 fastText 模型 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention 模型 RCNN 模型 Adversarial LSTM 模型 Transformer 模型 ELMO 预训练模型 BERT 预训练模型 ...
深入理解PyTorch中的nn.Embedding
⚡
06-27 9261
深入理解nn.Embedding模块
神经网络嵌入层中的“embedding_dim“和“num_embeddings“分别是什么
行子的博客
07-13 2878
"num_embeddings" 表示嵌入层的输入空间的大小。"num_embeddings" 定义了离散输入空间的大小，它决定了嵌入层的输入维度，也决定了嵌入层权重矩阵的大小。这样，嵌入层就可以学习将离散的输入值映射到低维连续向量空间中，并在深度学习模型中使用这些嵌入向量来进行进一步的计算和学习。通过设定合适的 "num_embeddings" 和 "embedding_dim"，我们可以创建一个嵌入层，该层将将每个单词编码为一个具有指定维度的词嵌入向量，以便在深度学习模型中使用。
双向LSTM做情感分析
weixin_38981611的博客
09-18 1226
1、LSTM层 Class torch.nn.LSTM(*args,**kwargs) # pytorch中的输入参数 input_size – 数据的特征维度（使用embedding时就是指embedding dim） hidden_size – 隐向量的维度 num_layers – LSTM的层数，i层LSTM将使用i-1层LSTM的输出作为输入。默认为1 bias – 特征变换时是否使用bias，默认为True batch_first – 设置batch_size的位置，当为True时，
论文辅助笔记：t2vec models.py
最新发布
qq_40206371的博客
11-02 238
从指定的路径加载预训练的词嵌入权重，并将这些权重复制到模型中的。
Transformer实现以及Pytorch源码解读（二）-embedding源码分析
铁血军的小博客
12-20 2574
Embedding的过程源码解读
关于nn.Embedding的解释，以及它是如何将一句话变成vector的
热门推荐
家里没矿
03-10 1万+
首先我们来看Embedding的参数。 nn.Embedding((num_embeddings,embedding_dim) 其中，num_embeddings代表词典大小尺寸，比如训练时所可能出现的词语一共5000个词，那么就有num_embedding=5000，而embedding_dim表示嵌入向量的维度，即用多少来表示一个符号。提到embedding_dim，就不得先从one_hot向量说起。 最初的时候，人们将word转换位vector是利用one_hot向量来实现的。简单来讲，现在词典里一
Pytorch 中 Embedding 类详解
Flag_ing的博客
04-02 5848
在 NLP 领域，可以使用 Pytorch 的 torch.nn.Embeding() 类对数据进行词嵌入预处理。关于词嵌入的解释这里就不做解释咯，不明白的阔以先出门左拐找百度。 重点说下这个 Embeding 类怎么用的。其定义如下： (class) Embedding(num_embeddings: int, embedding_dim: int, padding_idx: int | None = None, ...) 我这里只显示了三个参数：num_embeddings、embedding
torch.nn.Embedding参数详解-之-num_embeddings,embedding_dim
wen_ding的博客
10-23 1757
torch.nn.Embedding参数详解 num_embeddings, num_embeddings
zhiluanbianhuan.rar_Multiple Embedding _Multiple watermark_多重数字水
07-14
置乱变换核心程序，是整个多重数字水印嵌入技术的重点，主要利用的是置乱变换的周期性，不同大小的图像有不同的周期，可以作为传输的密钥
FNN.rar_FNN_Nearest false_embedding dimension_false nearest_嵌入维数
07-14
false nearest neighbours 嵌入维数
LSB.rar_LSB_LSB水印_lsb embedding_水印_水印 LSB
09-14
图像水印的LSB方法，包含水印嵌入和提取过程
TextCNN代码解读及实战
AI浩
10-15 9462
摘要 这几天使用TextCNN做文本分类，记录一下学习过程，数据集使用cnew，代码参考github上的代码，地址：https://github.com/BeHappyForMe/Multi_Model_Classification，对重点的代码做了注解，方便自己的理解。关注公众号“AI小浩”，回复“textcnn实战”，获取代码和数据集。 Text模型的计算过程 TextCNN的详细过程原理图如下： 代码： class CNN(nn.Module): def __init__(self, voc
torch.nn.Embedding(num_embeddings, embedding_dim)的理解
weixin_43960370的博客
04-29 174
embed输出的维度是[2, 3, 4]，这就代表对于输入的[2,3]维的词，每一个词都被映射成了一个4维的向量。
nn.Embedding
yzy的博客
07-31 532
nn.Embedding具有一个权重（.weight），形状是(num_words, embedding_dim)。例如一共有10个词，每个词用3维向量表征，对应的权重就是一个10×3的矩阵。Embedding的输入形状N×W，N是batch size，W是序列的长度，输出的形状是N×W×embedding_dim。在PyTorch中，针对词向量有一个专门的层nn.Embedding，用来实现词与词向量的映射。Embedding的权重是可以训练的，既可以采用随机初始化，也可以采用预训练好的词向量初始化。
深度学习：pytorch nn.Embedding详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-18 1万+
nn.Embedding是PyTorch中的一个常用模块，其主要作用是将输入的整数序列转换为密集向量表示。在自然语言处理（NLP）任务中，可以将每个单词表示成一个向量，从而方便进行下一步的计算和处理。
class CBOW(torch.nn.Module): def __init__(self, word_size, embedding_dim): super(CBOW, self).__init__() self.embeddings = nn.Embedding(word_size, embedding_dim) self.linear1 = nn.Linear(embedding_dim, 128) self.activation_function1 = nn.ReLU() self.linear2 = nn.Linear(128, word_size) self.activation_function2 = nn.LogSoftmax(dim = -1)
07-14
这段代码定义了一个CBOW（Continuous Bag-of-Words）模型的类CBOW。CBOW模型是一种用于自然语言处理的神经网络模型。 在__init__方法中，模型的初始化操作被定义。它接受两个参数：word_size和embedding_dim。word_size表示词汇表的大小，embedding_dim表示词向量的维度。 在模型的初始化过程中，首先创建了一个Embedding层self.embeddings，它将输入的单词索引映射为词向量。Embedding层的大小为(word_size, embedding_dim)，其中word_size是词汇表的大小，embedding_dim是词向量的维度。 接下来，定义了两个线性层self.linear1和self.linear2。self.linear1将词向量映射到一个大小为128的隐藏层，然后通过激活函数self.activation_function1（这里使用了ReLU）进行非线性变换。self.linear2将隐藏层的输出映射为最终的预测结果，大小为word_size。最后，通过self.activation_function2（这里使用了LogSoftmax）对预测结果进行归一化。 这样，CBOW模型的架构就定义好了，可以用于训练和预测。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值