PixelAI ： 手淘客户端上的实时视觉算法应用

基于PixelAI上层视频业务可以快速搭建符合自身业务特色的实时交互视觉特效。在LiveVideoStackCon2019上海大会中，淘宝高级算法专家李晓波详细介绍了手淘在实现客户端上基于深度学习的视觉算法应用时如何在资源受限的情况下达到性能与效果之间的平衡。

文 / 李晓波

整理 / LiveVideoStack

大家好，我是李晓波（篱悠），目前在淘宝任职高级算法专家。本次分享将从设计原则与整体架构、基础算法和上层应用三个部分来介绍手淘视频业务在客户端上实时视觉算法领域的探索。

 

1. 设计原则与整体架构

1.1 手淘多媒体算法整体链路

手淘多媒体算法分为视频生产和用户消费两部分，上图左半部环更多是由广告和搜索团队进行收集，算法团队主要负责右半部环中视频智能生产、内容感知及内容理解部分，当算法能够解决高级语义理解和结构化信息时，就可以结合左半部环内容结合起来做视频的个性化分发。

 

1.2 手淘多媒体算法面临的挑战

 

 

手淘多媒体算法目前面临业务、技术和业界进展变化（环境）三方面的挑战，应对这些挑战手淘分别在效率、体验和成本三个方面做出控制和改变。

1.3 手淘客户端上实时视觉算法库

1.3.1 模型设计与压缩

 

 

在端上做算法面临计算资源和内存受限的问题，移动端上存在很多实时交互的操作，例如视频的帧率一般都是25FPS，如果算法对视频处理的速度很慢，那么用户实时交互的体验就无法得到保障。近几年深度学习在服务器上取得了很大的进展，但是由于计算资源和内存受限导致性能上存在差距，无法照搬深度学习的模型来解决移动端遇到的问题。