Edge Video Analytics (2) — Ekya: Continuous learning of video analytics models on edge compute serve

XiaoMin@

已于 2022-05-10 14:32:48 修改

阅读量434

点赞数

分类专栏：视频分析文章标签：深度学习计算机视觉人工智能

于 2022-05-10 13:51:43 首次发布

本文链接：https://blog.csdn.net/smallEngineer/article/details/124686338

版权

视频分析专栏收录该内容

4 篇文章 0 订阅

订阅专栏

[1] Bhardwaj R, Xia Z, Ananthanarayanan G, et al. Ekya: Continuous learning of video analytics models on edge compute servers[C].19th USENIX Symposium on Networked Systems Design and Implementation (NSDI 22). 2022: 119-135.

Abstract:
视频分析应用程序使用边缘计算服务器来处理视频。部署在边缘服务器上进行推理的压缩模型会遭受实时视频数据与训练数据不同的数据漂移。持续学习通过定期在新数据上重新训练模型来处理数据漂移。我们的工作解决了在边缘服务器上联合支持推理和再训练任务的挑战，这需要在再训练模型的准确性和推理准确性之间进行基本权衡。我们的解决方案 Ekya 在多个模型之间平衡了这种权衡，并使用微分析器来识别最需要重新训练的模型。与基线调度器相比，Ekya 的准确度增益高出 29%，并且基线需要 4 倍以上的 GPU 资源才能达到与 Ekya 相同的准确度。

本文方法：知识蒸馏(老师-学生网络)

结论

持续学习使边缘 DNN 即使在数据漂移的情况下也能保持高精度，但却需要在推理和训练时间实现平衡。我们介绍了 Ekya，这是一个高效的系统，通过平衡多个再训练和推理任务来最大限度地提高推理准确性。 Ekya 的资源调度程序通过修剪大型决策空间并优先考虑有前途的再培训任务，使问题变得实用且易于处理。 Ekya 的性能估计器以非常少的开销提供基本的准确度估计。我们对一组不同的视频流的评估表明，Ekya 的准确度比基线调度器高 29%，而基线需要 4 倍以上的 GPU 资源才能达到 Ekya 的准确度。我们得出结论，Ekya 是一个实用的边缘视频分析持续学习系统，我们希望我们的发现将促进对再训练和推理之间权衡的进一步研究。