这篇博客介绍了自然语言处理中的梯度剪裁技术，详细探讨了LSTM和GRU的内部机制，包括one_hot编码、RNN隐藏层的理解、torch.cat的使用以及RNN迭代、批次的关系。此外，还讨论了框架优化的关键点，如损失函数、更新器和层的设计。最后，作者分享了学习GRU和LSTM的心得，并提到制作毕业答辩PPT的过程。
—0436标题为nlp，但是到现在还没看宝可梦！不过感觉越来越近了！今天虽然是周六，不过还是4点就起了，最近这个时间的学习效率越来越高，不是在自我感动，要努力，要出活。
—0507写了近期计划，可以开始继续coding了！！！昨天晚上看完了rnn，还没动手实现呢！
1、one_hot(,)
独热编码的种类数（第二个参数）不能少于实际值（第一个参数）种类的数量，不然会报错。
2、len（new_state）和和new_state的维度
为了和后面的lstm兼容，把new_state写成了一个tuple。在rnn中，这个tuple只有一个，是两维的。大小是[batch_size,num_hiddens]
0553干饭干饭干饭！！！
–0629吃饭的时候看完了沐沐的Q&A，还找了半天蛋白杯哈哈哈！继续码代码了！
3、梯度剪裁
梯度剪裁通过限制梯度范数的大小，避免其过大，造成梯度爆炸。
4、torch.cat的用法
cat是将多个张量拼接，不是将一个张量转换维度（reshape
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
