langzi453的博客

本文将两种成熟的方法结合在一起然后水了一片论文。先用群卷积构造一个小的网络，然后用知识蒸馏的方法训练网络。这里不介绍知识蒸馏。 (1) 群卷积将上一层的输入M分为N个组分别进行卷积再最后拟合在一起。这样，参数会减少。                                 (2)我感觉group conv本身应该就大大减少了参数，比如当input channel为256，outp...

前言：        今天拜读了Gao Huang的Densely Connected Convolutional Networks，不禁感叹天才真的是百分之九九的努力加上百分之一的灵感。在看过ResNet的架构后，DenseNet的框架便不难想到，谁灵感突现，谁就成了摘果子的人。闲言少叙，我们直接进入正题。 1.什么是DenseNet：        要讲DenseNet就不得不讲一下传统的...