动手学深度学习笔记
文章平均质量分 94
笔记
W11H08Z
这个作者很懒,什么都没留下…
展开
-
注意力机制
本文是笔者《动手学深度学习》的学习笔记,如有谬误,请随时指出。原创 2024-05-06 21:08:38 · 953 阅读 · 0 评论 -
LSTM、GRU及其各种RNN架构
LSTM、GRU及其各种RNN架构本文是笔者《动手学深度学习》的学习笔记,如有谬误,请随时指出。疑问在介绍这部分之前,笔者存在以下疑问,如果有dalao能解答,我将十分感谢!GRU为什么不用下面这种方式更新状态?Ht=Zt⊙Ht−1+(1−Zt)⊙[tanh(XtWxh+bh)]\mathbf{H}_t = \mathbf{Z_t}\odot\mathbf{H}_{t-1}+(1-\mathbf{Z}_t)\odot[\tanh(\mathbf{X}_t\mathbf{W}_{xh}+原创 2024-04-27 20:39:16 · 785 阅读 · 0 评论 -
RNN及其梯度分析
RNN及其梯度分析本文是笔者《动手学深度学习》的学习笔记,如有谬误,请随时指出。语言模型对于一个基于历史数据来预测未来数据的任务,一定存在一个前提假设:序列本身的规律是不变的。这是因为,如果规律变化,那么规律一定受到新的数据影响,并且我们不能基于目前的数据来找到新的规律,此时基于历史数据来预测未来数据没有意义。因此,只要我们希望基于历史数据预测未来数据,一定存在序列规律不变这一假设。假设存在一个文本序列x1,…,xTx_1, \ldots, x_Tx1,…,xT,其中xtx_txt代表在时原创 2024-04-27 10:34:22 · 783 阅读 · 0 评论