2020-10-14 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.5 不同类型的RNN-一对一/一对多/多对一/多对多2种/注意力结构)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

现在你已经了解了一种RNN结构，它的输入量$T_x$等于输出数量$T_y$。事实上，对于其他一些应用，$T_x$和$T_y$并不一定相等。在这节课里，你会看到更多的RNN的结构。

你应该还记得这周第一节课中的介绍，如上图，有很多例子输入$x$和输出$y$，有各种类型，并不是所有的情况都满足$T_x=T_y$。

比如

• 音乐生成，$T_x$可以是长度为1甚至为空集。
• 情感分类，输出$y$可以是1到5的整数，而输入$x$是一个序列。
• 命名实体识别，这个例子中输入长度和输出长度是一样的。

还有一些情况，输入长度和输出长度不同，他们都是序列但长度不同，比如机器翻译，一个法语句子和一个英语句子不同数量的单词却能表达同一个意思。

所以我们应该修改基本的RNN结构来处理这些问题。

本节课的内容参考了Andrej Karpathy的博客，一篇叫做《RNN的非理性效果》（“The Unreasonable Effectiveness of Recurrent Neural Networks”）的文章，我们看一些例子。

例1 “多对多”（many-to-many）$T_x=T_y$

你已经见过$T_x=T_y$