- 博客(7)
- 收藏
- 关注
原创 知识蒸馏个人学习记录导航
4.Cascaded channel pruning using hierarchical self-distillation使用分层自蒸馏的级联通道修剪。
2023-11-04 09:53:57
43
1
原创 PRUNING WITH HINTS: AN EFFICIENT FRAMEWORKFOR MODEL ACCELERATION
在本文中,我们提出了一个有效的框架来加速卷积神经网络。我们使用两种类型的加速方法:修剪和提示。修剪可以通过移除层的通道来减小模型大小。提示可以通过从教师模式转移知识来提高学生模式的绩效。我们证明了修剪和提示是相辅相成的。一方面,提示可以通过维护相似的特征表示来有益于修剪。另一方面,从教师网络中修剪出的模型是学生模型的良好初始化,增加了两个网络之间的可转移性。我们的方法迭代执行修剪阶段和提示阶段,以进一步提高性能。此外,我们还提出了一种算法来重建提示层的参数,使修剪后的模型更适合提示。
2023-10-26 15:54:43
68
PRUNING WITH HINTS: AN EFFICIENT FRAMEWORKFOR MODEL ACCELERATION
2023-10-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人