37.网络结构与模型压缩、加速-4

37.1 减少网络碎片化程度(分支数量)

模型中分支数量越少，模型速度越快

• 此结论主要是由实验结果所得。
  • 以下为网络分支数和各分支包含的卷积数目对神经网络速度的影响。
    
• 实验中使用的基本网络结构，分别将它们重复10次，然后进行实验。实验结果如下：
  
• 由实验结果可知，随着网络分支数量的增加，神经网络的速度在降低。网络碎片化程度对GPU的影响效果明显，对CPU不明显，但是网络速度同样在降低。

37.2 减少元素级操作

元素级操作所带来的时间消耗也不能忽视

• ReLU ，Tensor 相加，Bias相加的操作，分离卷积（depthwise convolution）都定义为元素级操作。
• FLOPs大多数是对于卷积计算而言的，因为元素级操作的FLOPs相对要低很多
  • 但是过的元素级操作也会带来时间成本
  • ShuffleNet v1和MobileNet v2的几种层操作的时间消耗做了分析，发现元素级操作对于网络速度的影响也很大。