在进行CNN的设计中,我们不仅要考虑模型的准确率,还需要考虑模型的实用性。现阶段大量的paper纯堆精度,缺没有深入思考模型以及算法的实用性。
最近有一点感触很深:很多我们在做研究时认为默认的东西,在进行实际应用项目中,才发现这些先验数据是无法获得的,这和学术探索是很不同的。可能需要问自己,我们应该做怎样的研究者?
对于CNN,网络的复杂度分析也是非常非常重要的。
1、时间复杂度——计算量。
就是我们常说的FLOPs,计算如下所示:
2、空间复杂度
空间复杂度主要包括两部分,总参数量 + 各层输出特征图
3. 复杂度对模型的影响
- 时间复杂度决定了模型的训练/预测时间。如果复杂度过高,则会导致模型训练和预测耗费大量时间,既无法快速的验证想法和改善模型,也无法做到快速的预测。
- 空间复杂度决定了模型的参数数量。由于维度诅咒的限制,模型的参数越多,训练模型所需的数据量就越大,而现实生活中的数据集通常不会太大,这会导致模型的训练更容易过拟合。
- 当我们需要裁剪模型时,由于卷积核的空间尺寸通常已经很小(3x3),而网络的深度又与模型的表征能力紧密相关,不宜过多削减,因此模型裁剪通常最先下手的地方就是通道数。