台湾大学深度学习课程 学习笔记 Lecture 5-2: Sequence Generation

以下内容和图片均来自台湾大学深度学习课程。
课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html

Generation

RNN的应用方法

• sentences是由characters/word 组成；
• 使用RNN的方法每次生成一个characters/word

X 是之前产生的一个word，用one-hot-encoding 表示。通过function $f$ 处理后，生成distribution probility $y$ 。

这部分其实之前课程中有讲过，这边重复一遍过程。举例说明，具体实践中每一步的实现方法。

1. 假设Train 的句子是“床前明月光”。$x^1$ 为一句话的开始符，例如标识为<BOS>，代表begin of sentences。在这里，包括后面，不管是word还是标识符<BOS><EOS>，所有的 $x$ 都用one-hot-encoding的方式表示；
2. $x^1$ 与 初始化的$h^0$通过function $f$ ，得到 $y^1$ 与 $h^1$。此时，$y^1$ 中的分布概率代表每个字出现在一句话首位的概率，$P(w|<BOS>)$ 。 $h^1$ 则作为下一步的输入，向后传递信息；
3. 继续下一层。向 $f$ 中输入$x^2$ 与 $h^1$，这里 $x^2$ 即为床的one-hot-encoding信息，得到 $y^2$ 与