[序列模型] Recurrent Neural Networks习题解析

又到了要命的世界杯期间，作为一名伪球迷，虽然不会熬夜看球，但对于正常时间场次的球赛还是会观看。开赛以来，每天都观看晚八点场，结果原计划的学习任务就悲剧了。望着即将到期的coursera帐号（coursera按月订阅），为了避免经济上的损失，不得不挣扎着继续学习了一周的课程。偏偏这周的循环神经网络又是如此难以理解，这次测试提交了好几次才得以通过。

这是课程[序列模型]第一周的练习题，一共10道。

解答：

圆括号(i)代表第i个样本，尖括号<j>代表第j个词，考虑到主次，第(i)个样本是主，第<j>个词是次，所以答案是选项1。

解答：

这是一种输入数量等于输出数量的多对多RNN结构，答案是选项1。

解答：

选项1中语音识别是多对多的RNN，选项3是图像处理，应采用卷积神经网络。

答案是选项2、4。

解答：

这个似乎不用解释，答案为选项3。

解答：

这个题目一开始选择错误，理解中应该选择概率最大的那个词，结果重新看了视频，应该是随机选择，课程中还提到了使用np.random.choice来实现。

答案是选择4。

解答：

这个是梯度爆炸问题，所以答案是选项2。

解答：

这个题目也是一开始就做错了，课程中并没有提及其维度。不过从LSTM的公式中可以看出，Tu和C<t-1>是做的内积运算，其维度应该相同，所以答案是选项2。

解答：

当c<t>高度依赖c<t-1>时，不会有梯度消失的问题。所以答案是选项3。

解答：

对照两者的公式，可以明显看出Tf相当于1-Tu，所以答案是选项1。

解答：

因为狗的情绪只依赖于之前的天气，所以无需采用双向RNN，而且题目很明确说依赖当天及过去几天的天气，所以答案是选项3。