2020-10-9 吴恩达DL学习-C5 序列模型-W1 循环序列模型

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

这门课会教你如何构建自然语言、音频以及其他序列数据的模型。基于深度学习，序列算法比两年前有了巨大的飞跃，并且催生了语音识别、音乐合成、聊天机器人、机器翻译、自然语言理解等领域的诸多应用。

本周的知识点是循环神经网络。这种类型的模型已经被证明在时间数据上表现非常好，它有几个变体，包括 LSTM、GRU 和双向神经网络，本周的课程中也都包括这些内容。

1.1 为什么选择序列模型 Why sequence models?

2020-10-9 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.1 为什么选择序列模型)

1.2 数学符号 Notation

2020-10-10 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.2 数学符号-时序序列数据表示符号/序列长度/one-hot表示字典里的单词)

1.3 循环神经网络模型 Recurrent Neural Network Model

2020-10-12 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.3 循环神经网络模型RNN-原理简介/前向传播/权重参数说明)

1.4 通过时间的反向传播 Backpropagation through time

2020-10-13 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.4 通过时间的反向传播-损失函数定义)

1.5 不同类型的循环神经网络 Different types of RNNs

2020-10-14 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.5 不同类型的RNN-一对一/一对多/多对一/多对多2种/注意力结构)

1.6 语言模型和序列生成 Language model and sequence generation

2020-10-15 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.6 语言模型和序列生成-语言模型概念/如何建立/建立RNN模型/定义代价函数)

1.7 对新序列采样 Sampling novel sequences

2020-10-19 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.7 对新序列采样-基于词汇/字符的RNN模型)

1.8 带有神经网络的梯度消失 Vanishing gradients with RNNs

2020-10-20 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.8 带有神经网络的梯度消失-深度网络(导数指数型下降)，后面的输出反向传播很难影响前面的层/补充:梯度爆炸用梯度修剪解决)

1.9 GRU 单元 Gated Recurrent Unit (GRU)

2020-10-21 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.9 GRU门控循环单元-改善梯度消失-在序列中学习非常深的连接-简化和完整版本-记忆细胞)

1.10 长短期记忆（LSTM） LSTM (long short term memory) unit

2020-10-22 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.10 长短期记忆(LSTM)-改善梯度消失-在序列中学习非常深的连接-)

1.11 双向神经网络 Bidirectional RNN

2020-10-26 吴恩达DL学习-C5 序列模型-W1 循环序列模型( 1.11 双向循环神经网络BRNN-自然语言处理-考虑单词在句子中过去和未来的信息来判断)

1.12 深层循环神经网络 Deep RNNs

2020-10-28 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.12 深层循环神经网络 )

课后测试

2021-1-22 吴恩达-C5 序列模型-W1 循环序列模型(课后作业)

课后编程1

2020-12-27 吴恩达-C5 序列模型-w1 循环序列模型(课后编程1-Building your Recurrent Neural Network - Step by Step搭建RNN)

课后编程2

2021-1-2 吴恩达-C5 序列模型-w1 循环序列模型(课后编程2-Character level language model-Dinosaurus Island 字符级语言模型-恐龙岛)