@TOC
Supremo阅读(TMC2020)
摘要
由于SR的计算非常密集,我们首先进一步优化最先进的DNN,以减少推断延迟。设计了一个包含数据压缩算法的云协作的执行pipeline,最小化端到端延迟和保证最小的图片质量退化。
思考
- Supremo把LR图片分成blocks,根据它们预期的SR效果对它们进行优先度排序(Priority Ordering),决定哪些blocks应该被最优先卸载到云上。
相关工作
- [5], [6], [7], [8], [9], [10]考虑卸载DNN计算到云,但他们考虑的都是目标检测什么的。限制在于SR模型推理延迟高
- 相较于目标检测任务传回来的仅仅是标签,SR传回来的是高分辨率图片,网络传输延迟更高。现有的JPEG压缩算法影响SR表现。
在移动设备上跑推理
贡献
- 优化了SR模型IDN,设计了IDN-Lite。我们观察到IDN是通过堆叠基本块来设计的;当每个块的性能增量在后期迅速变得边际时,内在的冗余就会出现。另外,我们逐步堆叠压缩单元块,以减少模型尺寸和最小的性能损失。该方法以最小0.1 dB的峰值信噪比(PSNR)损失实现了3.01×计算复杂度的降低。
- 我们设计了一个移动云协作执行管道,以低延迟运行卸载过程。我们首先开发了两种专门用于SR的数据压缩算法,即 优先排序(Priority Ordering)和残差编码(Residual Encoding)。优先排序操作在移动端只卸载图像的必要部分,而残差编码操作在云端发送压缩后的图片。
- Priority Ordering: 只把图片中边缘最多的部分卸载到云,剩下的在移动端进行双三次插值。
- 首先用canny edge detector检测图片中边缘所在的部分。这个检测器的开销不算大。
- 然后把图片分成 n x n 个block,根据边的密度对block进行优先级排序。这个优先级队列会根据资源限制和延迟要求自适应的调整传输数据大小。
- Residual Coding:经过SR的图片和双三次插值的图片只在锋利的边缘细节处差别较大,所以从云端传回的结果只对这个差别(Difference)进行编码。
- Priority Ordering: 只把图片中边缘最多的部分卸载到云,剩下的在移动端进行双三次插值。
- 最后,我们将Supremo扩展到视频应用(如实时放大、视流),从而设计出Supremo- Opt.
- 扩展成On-demand视频应用,为解决延迟和资源限制。使用李雅普诺夫优化。也利用了缓存机制去还原图片(利用帧间相似性)。对一个帧构建priority queue后,根据延迟要求,预估网络带宽和资源限制决定传几个block到云上处理。
实验
客户端和服务器用TCP连接