Once for All: Train One Network and Specialize it for Efficient Deployment

训练一个OFA网络，（深度、宽度、核大小和分辨率各异）。根据部署场景，无需训练，直接从该 OFA 网络中选择一个专用子网络。
OFA 网络之后再使用模型选择，可以实现很多准确度-延迟权衡，而整个过程仅需训练一次。

———————————————————————————————

所有子网络权重都是从OFA中获取的，只需训练一次，训练时间为200h。
—————————————————————————————————实验
我们是在分辨率224x224下测试的结果，采用了8个子网进行比较，其中independent表示独立训练子网络的准确率，下面使我们用渐进式收缩，来比较的准确率，相较于独立训练相同或者更高。