Assignment #2
3.Recurrent Neural Networks: Language Modeling
在这一节中,计算RNN语言模型的梯度。
语言模型是NLP中的一个核心任务,语言模型也存在于语音识别、机器翻译等许多其他系统的核心部分。给定一个单词(表示为一个one-hot行向量)序列,语言模型根据下列模型预测下一个单词:
其中是单词表中的一个单词。
下面计算RNN语言模型的梯度,它使用隐藏层中的反馈信息来模拟“历史”,形式化定义如下:
对于:
其中
在这一节中,计算RNN语言模型的梯度。
语言模型是NLP中的一个核心任务,语言模型也存在于语音识别、机器翻译等许多其他系统的核心部分。给定一个单词(表示为一个one-hot行向量)序列,语言模型根据下列模型预测下一个单词:
其中是单词表中的一个单词。
下面计算RNN语言模型的梯度,它使用隐藏层中的反馈信息来模拟“历史”,形式化定义如下:
对于:
其中