写了一个15X4层的P3d模型,在小数据集上可以完成收敛,然而加大数据集时就是啊不收敛。
trick :
1、数据增强(算了吧)加大(1.2w)不收敛,要怎么增强。
2、增加filter的数量,因为内存原因最后被逼无奈减了层次。最后变成了6X4层
3、每次一个量级地减learningrate。
最后收敛了!!收!!敛!!!了!!!
思考了一下原因,原来的filter输入第一层是256个outchannel,我改成了512个outchannel,虽然最后减了层数但是因为扩增了底层的filter的outchannel,保证模型可以获取足够的底层特征。相应的中间层filter的outchannel也扩增了一倍,也保证了中间特征的数量,模型可以获取足够多的特征参数来表达视频数据。