这篇文章用于记录学习遇到的bug,以便后续查看。细节描述不够详尽,若遇到相似的问题,可以在评论区交流。
如何用公式创建自己的模型
让自定义类继承自nn. Module,在init中直接创建nn. Parameter类成员变量,就会自动绑定到model. parameters中,可以通过调用parameters方法查看。
在绑定的时候我遇到两个问题:
- 参数不能to(device),不然会绑定不上,而且模型在to gpu的时候参数自然会转到上面,但是子模块有没有to(device)没有影响(平时写Linear也不会在定义模块后面加上一句to(device)吧)
- 如果是把参数定义成list,或者dict,默认是不会绑定到模型中的,需要把类型改成nn. ParamList或ParamDict
- 如果是把子模块(或者叫层)定义成list,需要使用ModuleList和ModuleDict
注:2,3两种情况多见于模块本身支持multiple layers
修改了以上的问题,梯度正常下降了!
发现效果不如官方库好
我正在做的两个模型,DCSN和LSTM,我都直接用代码实现了其功能,发现他们在cpu上的运行效率比官方提供的nn. LSTM慢了很多,有人解释说是nn. LSTM底层使用了c/c++代码,所以效率会更高。
但是我的模型在gpu下比cpu还慢,但官方库没有这个问题,我认为是我的并行化做得不好,而且在一些不必要的地方切换gpu与cpu会损耗时间。