关于多卡推理的猜想

1.分组卷积

设计动机：GPU显存不足，需要双卡同时训练及推断
原理：将卷积核分为两组，分别在两张GPU上进行处理，最后再使用全连接层对两组卷积得到的特征进行整合（混洗）
优点：双卡分担计算量，且总计算量减少一半。
缺点：无法方便地使用预训练模型，且由于两组特征之间的信息没有交互，效果会变差。过量分组会增加MAC。

shufflenet增加了通道混洗结构，增强特征通信，但如果在多卡上分别进行组卷积，则对显卡之间的通信速度要求较高。

2.深度可分离卷积

一种极致分组的分组卷积，混洗方式为1*1卷积。


不适合在多卡推断中使用，对显卡之间的通信速度要求较高。

增加网络宽度（inception）

因为宽度上的增加可以利用并行计算来减少耗时，所以可以设计多路网络将任务分担给多个计算设备上。