BILSTM模型初始化
1.torch.nn.Embedding
self.embedding = nn.Embedding(vocab_size,embedding_size,padding_idx=pad_idx)
- num_embeddings:嵌入字典的大小(词的个数);
- embedding_dim:每个嵌入向量的大小;
- padding_idx:若给定,则每遇到 padding_idx 时,位于 padding_idx 的嵌入向量(即 padding_idx 映射所对应的向量)为0;
功能:将已经映射为数字的文本映射为embedding_dim维的向量,
输入:文本的 Long Tensor;
输出:输出 shape =(*,H),其中 * 为输入的 shape,H = embedding_dim(若输入 shape 为 N*M,则输出 shape 为 N*M*H);
torch.nn.Embedding 的权重为 num_embeddings * embedding_dim 的矩阵,例如输入10行,每行最多5个词,每个词用3为向量表示,则权重为10*5*3的矩阵;
import

本文详细介绍了PyTorch中BILSTM模型的初始化和运作原理,包括torch.nn.Embedding的使用,它将文本映射为向量,以及torch.nn.LSTM的结构分析,解释了RNN中参数的共享和前向传播过程。BILSTM的输入和输出特性也被详细阐述,特别是如何应用于情感分析任务的decoder部分。
最低0.47元/天 解锁文章
3万+

被折叠的 条评论
为什么被折叠?



