【达摩院OpenVI】几行代码，尽享丝滑视频观感

团队模型、论文、博文、直播合集，点击此处浏览

随着网络电视、手机等新媒体领域的快速发展，用户对于观看视频质量的要求也越来越高。当前市面上所广为传播的视频帧率大多仍然处于20～30fps，已经无法满足用户对于高清、流畅的体验追求。而视频插帧算法，能够有效实现多倍率的帧率提升，有效消除低帧率视频的卡顿感，让视频变得丝滑流畅。配合其它的视频增强算法，更是能够让低质量视频焕然一新，让观众享受到极致的播放和观看体验。点击如下链接，立即体验。

学术版模型：https://www.modelscope.cn/models/damo/cv_raft_video-frame-interpolation/summary

应用版模型：https://www.modelscope.cn/models/damo/cv_raft_video-frame-interpolation_practical/summary

视频插帧算法，顾名思义，需要计算原始视频中相邻(多)帧间的运动关系，在相邻帧间插入符合逻辑的中间帧，使中间帧能与原始帧无缝衔接，达到提升视频流畅度的效果

插帧前后的效果对比（左：插帧前，右：插帧后）

一、背景

当前，插帧算法在学术界不断取得突破，多篇文章通过transformer的引入能够有效提升PSNR等验证指标。但当前大多数SOTA模型在一些通用视频的困难场景下（包括但不限于：大运动场景、重复纹理场景、电影中的台标、字幕）生成的中间帧存在明显的瑕疵现象。而上述所提到的场景，也成为了当前视频插帧在业界所面临的最大挑战。此外，当前的大多数插帧算法仅支持生成t=0.5时刻的中间帧，即2倍插帧，无法一次性实现高倍率插帧以及任意指定帧率转换。针对以上问题，达摩院视觉增强团队在Modelscope上线了自研的插帧算法，该算法能够有效提升上述困难场景下的插帧质量，同时该算法支持任意时刻的中间帧生成，输出帧率可由用户任意指定。

二、方法

ours算法采用深度学习方案，完整链路可分为四部分：原始帧间光流预测、光流修复(refine)、中间帧光流估计、中间帧生成。

1. 原始帧间光流预测

当前，绝大多数插帧算法都是基于光流来实现运动估计的。光流能够表征相邻两帧间对应像素点的运动距离大小，反映同一物体的位置对应关系。通常来说，光流预测的精准程度越高，生成的中间帧也更准确。在我们的算法中，复用了RAFT这一光流模型，用于生成F0->1和F1->0。和其它的光流模型相比，RAFT所提出的convex upsample使其在估计快速运动小物体有着更高的准确率。

（输入img0、img1）

Ft->1

Ft->0

2. 光流修复

针对RAFT模型所生成的光流，我们引入了基于cross-attention transformer结构来对原始光流进行修复。该结构能够扩大感受野，结合Unet能够有效捕捉大运动场景下的光流。经过修复，我们可以得到对原始帧间的光流F0->1和F1->0实现精准估计

cross-attention transformer[3]

3. 中间帧光流估计

这一步的主要目的是通过F0->1和F1->0去估计Ft->1和Ft->0，这里我们引入了基于四帧输入的光流估计算法。和两帧输入算法相比，该算法能够更好地捕获快速运动物体的加速度，此外，多帧信息的引入，又能够有效提升重复纹理场景光流估计错误的问题。

中间帧光流估计[4]

4. 中间帧生成

这一步借由I1和Ft->1、I0和Ft->0，通过backward warping各自生成中间帧。考虑到潜在的遮挡问题，通过mask对两张图像进行加权融合，即可得到最终的中间帧图像。该部分算法和当前大多数插帧算法无异。

三、效果

1.算法优势和功能支持

• 基于深度学习方法，针对大运动、重复纹理等困难场景进行了算法改进。针对电影、电视剧、体育赛事视频中常出现的台标、字幕等场景，进行了训练数据构造和增强，大幅提升了算法的实用性。

• 支持用户指定任意帧率输出，算法可自动计算插帧时刻，并支持任意时刻的插帧

• 针对部分镜头切换或其它不适合插帧的场景，可进行自动检测和筛选

• 算法嵌入modelscope开源平台，用户可免费体验。模型调用简单方便，几行代码即可调用pipeline。不仅如此，modelscope兼容主流深度学习框架，提供灵活简单的python SDK，开发者可以方便地对算法进行二次开发，构建自己的专属模型

点击链接 https://www.modelscope.cn/home 进入魔搭社区

2.视频、图像综合增强

插帧算法作为视频增强的一部分，能够有效解决视频卡顿的问题。此外，modelscope社区还上线了包括去噪、超分、调色、上色等多种视频图像修复增强算法。任何低质量的原始视频，都能够在增强修复后变得焕然一新，让你享受到极致高清、饱满、丝滑的视频观看体验。

点击链接https://www.modelscope.cn/models?page=1&tasks=vision-editing&type=cv 可体验多种视觉编辑功能

四、展望

除了视频编辑和修复功能，未来我们还将持续探索插帧技术更为广阔的应用场景。当前随着大模型的兴起和层出不穷的AIGC玩法，插帧在图生视频、图片场景串联转换等领域，仍然存在巨大的潜力等待我们去发掘。

五、参考

[1] Teed, Zachary, and Jia Deng. "Raft: Recurrent all-pairs field transforms for optical flow." European conference on computer vision. Springer, Cham, 2020

[2] Huang, Zhewei, et al. "Real-time intermediate flow estimation for video frame interpolation." Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XIV. Cham: Springer Nature Switzerland, 2022.

[3] Lu, Liying, et al. "Video Frame Interpolation with Transformer." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

[4] Xu, Xiangyu, et al. “Quadratic video interpolation.” Advances in Neural Information Processing Systems 32 (2019).