前端实现3d效果_【机器学习】视频3D效果实现

一、前言

    B站上的一些视频的弹幕会从人像后面穿过，要实现这种效果，一种简单的方法是通过物体分割算法对视频帧进行分割，记录下分割出来的人体边缘像素位置，当弹幕流动到这些像素位置时则不再显示。基于此，本文试图实现一个可以给视频添加简单3D效果的功能，效果如下：

二、Yolact简介

    YolAct是一种基于神经网络的分割算法，其优势在于实时性较好。算法的整体结构如下图所示:

    网络基础骨架为ResNet101，采用经典的FPN进行特征融合。网络的创新点在于增加了的prorotype分支进行不同位置和前景背景分割的预测，并且在FPN的预测部分，也增加了分割的一个分支。使用FPN处分割的分支预测的权值和prorotype mask结合，生成每一个anchor对应的mask分割结果。

三、实现