pytorch中的nn.Embedding用法

【python学习笔记】pytorch中的nn.Embedding用法 - ryukirin - 博客园https://www.cnblogs.com/ryukirin/p/14612795.html

torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None,
                   max_norm=None,  norm_type=2.0,   scale_grad_by_freq=False, 
                   sparse=False,  _weight=None)

参数

• num_embeddings（int）：词典的大小尺寸，比如总共出现5000个词，那就输入5000。此时index为（0-4999）
• embedding_dim（int）：嵌入向量的维度，即用多少维来表示一个符号。
• padding_idx（int，optional）：填充id，比如，输入长度为100，但是每次的句子长度并不一样，后面就需要用统一的数字填充，而这里就是指定这个数字，这样，网络在遇到填充id时，就不会计算其与其它符号的相关性。（初始化为0）
• max_norm（float，optional）：最大范数，如果嵌入向量的范数超过了这个界限，就要进行再归一化。
• norm_type（float，optional）：指定利用什么范数计算，并用于对比max_norm，默认为2范数。
• scale_grad_by_freq（boolean ，可选）：根据单词在mini-batch中出现的频率，对梯度进行放缩。默认为False.
• sparse（bool，可选）：若为True,则与权重矩阵相关的梯度转变为稀疏张量，默认为False。