返回目录
【2021-5-8】
(五)序列模型
week 1. 循环序列模型
1.1 为什么选序列模型
语音识别、音乐生成、情感分类、DNA序列分析、及其翻译、视频行为识别、命名实体识别
1.3 循环神经网络模型
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/7e9d263078d554258d819785cbf42551.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/95f6d856a42e5225367fb9ee40ba4f15.png)
1.4 通过时间的反向传播
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/c92fb4d0530aa8aa8db96554084afd06.png)
1.5 不同类型的RNN
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/4edfc2a47c8f6eeb9b6eb234048b79b5.png)
1.8 带有神经网络的梯度消失
网络过深,梯度消失
1.9 GRU单元
- RNN
![RNN](https://i-blog.csdnimg.cn/blog_migrate/3a12c7fcaf4ee612a2340b37e6447dd6.png)
- GRU
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/f7e6f52bcd80b8cfab813cf96fd22b1a.png)
1.10 长短期记忆(LSTM)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/a8cf111a488e698d51ba99c2a77236ce.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/4ea05d02884b29194a4d696b297592ca.png)
1.11 双向循环神经网络
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/924db5165605493f226f5fa39e508d72.png)
1.12 深层循环神经网络
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/eab0ddbc0c267ef5025ab6b994eb4e42.png)
week 2. 自然语言处理与词嵌入
week 3. 序列模型和注意力机制