2021-05-04学习笔记

今天认识到了在看论文的同时，写代码的重要性

主要看了LSTM的参数结构

首先是一个类似于MLP形式的LSTM示意图，但注意的是，LSTM很重要的隐藏层之间的横向传播没有展示出来，那么我们知道LSTM输入的时候

要求输入数据的格式（sequence_lenth,batch_size,word_embeding)

这个具体的过程，可以用下一张图很好的概括

注意，下标为时间序列，带括号的上标为sequence长度，每一个符号表示的都是一个fixed size的向量

所以，回想我去年自己写的的代码，利用bert预训练得到表征向量之后，似乎是一句话一句话喂的，没有设置batch_size

之后要进行修改，另外，建议花时间去读pytorch的官方文档

torch.nn — PyTorch 1.8.1 documentation

今天还意识到要看：神经网络的参数初始化（源自于老潘的问题，正交向量初始化的原理）

这个方面，代码和模型都要看

目前的理解：