Deep Learning与PyTorch学习过程中的零散知识点整理（二）

one-hot vs embedding

One-hot: 高维，稀疏，难编码

Embedding：低维，稠密，从数据中习得

self.emb = torch.nn.Embedding(input_size, embedding_size)

注意：

1. Embedding要确定的参数是：

   num_embedding: the size of the dictionary of embedding

   embedding_dim: the size of each embedding vector

2. 输入的数据是 LongTensor: (batch_size, seq_len)

3. 输出的数据是 (batch_size, seq_len, embedding_size)

self.rnn = torch.nn.RNN(input_size=self.embedding_size,
                                hidden_size=