知识蒸馏(Teacher & Student)
-
Learning Lightweight Lane Detection CNNs by Self Attention Distillation
利用层与层之间的促进关系,相当于逼着前面的层与后面层的输出结果相似,加上distillation到loss目标函数中,有点teacher vs student 的思想,将冗余的大网络精简为小网络。self attention, 自我促进。
Learning Lightweight Lane Detection CNNs by Self Attention Distillation
利用层与层之间的促进关系,相当于逼着前面的层与后面层的输出结果相似,加上distillation到loss目标函数中,有点teacher vs student 的思想,将冗余的大网络精简为小网络。self attention, 自我促进。