大模型带小模型去学,小模型也能学出小模型一样复杂的函数,一样好的性能,但参数少得多
- 大模型DNN:输入,FC2000,FC2000,FC2000, FC183
- CNN模型:输入,Conv,maxpool,FC2000, FC2000, FC2000, FC183
- 小模型(shallow)SNN:输入,FC8000,FC183
输入:1845d
方法:大模型预测的softmax输出直接送给小模型当GT学
模型效果:
- SNN-8k就是结构:输入,FC8000,FC183
- SNN-50k就是结构:输入,FC50000,FC183
- SNN-400k就是结构:输入,FC400000,FC183
都表示直接用这个浅的模型在训练集上学习,效果差点意思,学不了那么好
DNN和CNN就是之前说的那个
- SNN-MIMIC-8k就是结构:输入,FC8000,FC183
- SNN-MIMIC-400k就是结构:输入,FC400000,FC183
区别是带了MIMIC的表示模仿学习,即不直接在训练集上训练SNN,而是用DNN或CNN预测的结果来监督SNN,由于预测的结果是(0.1,0.3,0.2,0.4)这种soft的标签,比(0,0,0,1)这种hard标签好学一些,因此效果更好。而且SNN-MIMIC-400k学的结果甚至超过DNN了
最后,为了降低模型复杂度,作者还通过将”FC100,FC100“拆分为"FC(100),FC(10),FC(100)"这种操作来节省参数,参数从O( 100 ∗ 100 100*100 100∗100)变为O( 100 ∗ 10 + 100 ∗ 10 100*10+100*10 100∗10+100∗10)