2020-02-14《动手学深度学习》PyTorch版Task02

一、文本预处理
1.读入文本
2.分词
3.建立字典，将每个词映射到一个唯一的索引（index）
4.将文本从词的序列转换为索引的序列，方便输入模型

二、语言模型
一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T 的词的序列 w1,w2,…,wT ，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：P(w1,w2,…,wT).

三、循环神经网络基础
1.裁剪梯度
循环神经网络中较容易出现梯度衰减或梯度爆炸，这会导致网络几乎无法训练。而裁剪梯度是一种应对梯度爆炸的方法。
2.困惑度
我们通常使用困惑度来评价语言模型的好坏。困惑度是对交叉熵损失函数做指数运算后得到的值。