可分叉网络

可分叉网络

这是一个在推理时动态变化的网络结构

设计思路：在不同样本所需的计算量不同，例如简单样本仅需要少量计算就可以得出正确样本，复杂的样本则需要更多的计算量。

但是如何判断该样本符合提前结束的条件呢？

在提出该想法的论文中，作者采用了分类信息熵，一旦该通道的分类信息熵低于某一阈值，说明已经有很高的置信度获得了分类的结果，直到最终的通道。

在训练的时候，每一个通道都会对损失有贡献，越靠近浅层的网络权重越大，多通道的损失不仅增强了梯度信息，也在一定程度上实现了正则化。
将BranchyNet的设计思想用于LeNet，AlexNet，ResNet结构后，在维持性能的前提下，加速效果明显。

对于拥有N个分支的网络，需要的就是N-1个阈值，因为最后一个分支不需要阈值。
LeNet系列网络可以让超过90%的样本在第一个分支提前终止，AlexNet提前终止样本比例也超过一半，ResNet提前终止样本比例超过了40%。