Embedding 可理解为存储固定大小的词典的嵌入向量的查询表,根据编号,嵌入层返回对应的嵌入向量,嵌入向量反映了编号代表的符号之间的语义关系,输入为一个编号列表,输出为对应的符号嵌入向量列表。
torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None)
- num_embeddings (python:int):词典的大小尺寸,比如总共出现5000个词,则为5000,index为(0-4999)
- embedding_dim (python:int) – 嵌入向量的维度,即用多少维来表示一个符号。
- padding_idx (python:int, optional):填充id,比如,输入长度为100,句子长度不一样,需要用统一数字填充,指定填充数字,网络学习时遇到填充 id 就不会计算其相关性,默认 0。
- max_norm (python:float, optional):最大范数,如果嵌入向量的范数超过了这个界限,就要进行再归一化。
- norm_type (python:float, optional):范数计算方式,并对比max_norm,默认为2-范数。
- scale_grad_by_freq (boolean, optional):根据单词在mini-batch中出现的频率,对梯度进行放缩,默认:False。
- sparse (bool, optional):True表示与权重矩阵相关的梯度转变为稀疏张量。
import torch.nn as nn index_tensor = torch.LongTensor([[3, 6, 5, 6, 7, 1], [6, 4, 7, 9, 5, 1]]) embed = nn.Embedding(10, 2, padding_idx=0)
如上样例,词典大小为 10,最大index为 9,词向量维度为 2。
参考: