优酷移动端弹幕穿人架构设计与工程实战总结

弹幕穿人方案主要分为两类：“云端离线人体分割+端侧渲染”和“移动端端侧实时人体分割+端侧渲染”。在这里我们分别简称为云端方案和端侧方案。
本系列文章主要聚焦在优酷端侧弹幕穿人的技术实战上，主要包括优酷跨平台多媒体渲染引擎OPR简介、优酷端侧弹幕穿人架构设计与工程实战、淘系端智能PixelAI移动端实时人像分割技术、以及优酷弹幕渲染及弹幕穿人渲染技术的方方面面。

一、背景

1、弹幕穿人的价值
弹幕是目前用户观影的一个标配，弹幕能使用户在观影过程中与其他用户实时互动，提升了观影体验。但弹幕也会遮挡视频画面，也会给用户带来一些困扰。弹幕穿人是视频内容与弹幕内容争夺用户视觉焦点的一种平衡，能够让用户在消费弹幕的同时，依然可以观看到视频中涉及人物等的关键画面区域。在有弹幕穿人效果的时候，用户有更强的意愿打开更多行弹幕，弹幕穿人对用户弹幕开启行数有一定促进作用，从而证明弹幕穿人能产生正向的价值。
2、端侧弹幕穿人的优势
相较于云端方案需要提前针对某个剧生产、部署、下发，在介质有变化时需要重新生产等等不利因素，以及动则上百万的生产、储存及带宽成本，不适用于直播等实时场景。端侧弹幕穿人则完全依赖于移动端自身的算力，最大优势是实时、低成本，并且利于大规模铺量。
3、端侧弹幕穿人的技术要求及难点
3.1）穿人效果要准确
无论是云端还是端侧，穿人效果都要求准确。否则如果不达标，mask与人物有错位、弹幕渲染频繁抖动等等现象，这些都是不可接受的。
3.2）性能要达标
我们要在端侧保证弹幕穿人效果和性能，不能因为端侧弹幕穿人而导致CPU/GPU/内存等资源占用的飙升，或者导致弹幕本身渲染卡顿，更不能影响到视频或音频渲染的效果和性能。否则就是本末倒置了。
相较于云端方案，端侧方案的挑战更大，主要表现在如下几个方面：
(1)算力有限
端侧方案只能利用移动端自身的CPU或GPU来完成链路上所有操作。相较于云端方案，端侧的算力非常有限。移动端、边缘端和云端的GPU算力的介绍可以参考这篇文章《GPU深度报告，三大巨头，十四个国内玩家一文看懂》。
(2)模型小
由于端侧的限制，我们不可能用大模型，这给检测的准确性也带来更大的挑战。
(3)