李宏毅深度学习

最新推荐文章于 2024-06-19 13:03:43 发布

置顶 niuyoudao

最新推荐文章于 2024-06-19 13:03:43 发布

阅读量534

点赞数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/baidu_41867252/article/details/89289212

版权

本文介绍了深度学习模型的基本结构，包括LSTM和GRU，探讨了如何通过矩阵运算简化参数量。接着，深入讲解了计算图的概念和反向传播算法，以及在softmax层中的梯度计算。此外，还提到了LSTM在语言模型中的应用。

摘要由CSDN通过智能技术生成

文章目录

1 Basic Structures for Deep Learning Models
3 Computational Graph and Backpropagation
4 Language Model

1 Basic Structures for Deep Learning Models

在这里插入图片描述

y是由 $h^{'}$ 运算得到的

强制与c相乘的矩阵是对角阵，这样可以减少参数量

在这里插入图片描述
与下一个LSTM单元相连

粗箭头代表矩阵，LSTM有4个，GRU有3个‘。GRU计算量少，并且不容易过拟合。

3 Computational Graph and Backpropagation

在这里插入图片描述

计算图的方式：

注：代价值 C 是一个常数

在这里插入图片描述

$\frac{\partial C}{\partial y}$ 是一个长条状，一行多列。
softmax 得到的不是 diagonal matrix，因为所有的 z 都会影响每一个 $y_i$

注：将 $W^2_{mn}$ 平铺，共有 m*n 个元素

左右两边结果一样

4 Language Model

在这里插入图片描述

在这里插入图片描述

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
李宏毅深度学习

文章目录Basic Structures for Deep Learning ModelsBasic Structures for Deep Learning Models与下一个LSTM单元相连
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。