独热向量和嵌入层向量的区别以及嵌入层的应用

最新推荐文章于 2023-12-22 22:32:38 发布

还记得樱花正开~

最新推荐文章于 2023-12-22 22:32:38 发布

阅读量553

点赞数

分类专栏： PyTorch

本文链接：https://blog.csdn.net/ZHUYAN1209/article/details/115567947

版权

独热向量的特点

高维
稀疏
硬编码

嵌入层向量的特点

低维
稠密
从数据中学习得到

代码

import torch

class Model(torch.nn.Module):
    def __init__(self):
        super(Model,self).__init__()
        self.emb=torch.nn.Embedding(input_size,embedding_size)
        self.rnn=torch.nn.RNN(input_size=embedding_size,
                              hidden_size=hidden_size,
                              num_layers=num_layers,
                              batch_first=True)
        self.fc=torch.nn.Linear(hidden_size,num_class)

    def forward(self,x):    #input (batchSize,seqLen)
        hidden=torch.zeros(num_layer