关于用nn.Parameter自建模型问题

这篇文章用于记录学习遇到的bug，以便后续查看。细节描述不够详尽，若遇到相似的问题，可以在评论区交流。

如何用公式创建自己的模型

让自定义类继承自nn. Module，在init中直接创建nn. Parameter类成员变量，就会自动绑定到model. parameters中，可以通过调用parameters方法查看。
在绑定的时候我遇到两个问题：

1. 参数不能to(device)，不然会绑定不上，而且模型在to gpu的时候参数自然会转到上面，但是子模块有没有to(device)没有影响（平时写Linear也不会在定义模块后面加上一句to(device)吧）
2. 如果是把参数定义成list，或者dict，默认是不会绑定到模型中的，需要把类型改成nn. ParamList或ParamDict
3. 如果是把子模块（或者叫层）定义成list，需要使用ModuleList和ModuleDict
   注：2，3两种情况多见于模块本身支持multiple layers
   修改了以上的问题，梯度正常下降了！

发现效果不如官方库好

我正在做的两个模型，DCSN和LSTM，我都直接用代码实现了其功能，发现他们在cpu上的运行效率比官方提供的nn. LSTM慢了很多，有人解释说是nn. LSTM底层使用了c/c++代码，所以效率会更高。
但是我的模型在gpu下比cpu还慢，但官方库没有这个问题，我认为是我的并行化做得不好，而且在一些不必要的地方切换gpu与cpu会损耗时间。