ECCV 2022 Oral | CCPL: 一种通用的关联性保留损失函数实现通用风格迁移

关注公众号，发现CV技术之美

本篇分享论文『CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer』。介绍了一个通用的损失函数CCPL，其能够应用于所有基于训练的风格迁移网络，并能够提升网络在艺术化，照片化，以及视频风格迁移中的表现。结合文中提出的轻量化风格迁移网络SCTNet，论文中的方法分别在艺术化，照片化以及视频风格迁移任务中超越了现有方法。CCPL还被证明在广泛的图到图转换任务中能够提升生成质量。

详细信息如下：

• 论文链接：https://arxiv.org/abs/2207.04808

• 项目链接：https://github.com/JarrentWu1031/CCPL

      01      

前言

1.1 研究背景

艺术化，照片化和视频风格迁移在过去被视作独立的任务，它们对于结果有着不同方面的要求。其中，视频风格迁移除了追求每一帧图像的风格化效果，对生成视频的稳定性也有着很高的要求。过去基于单帧图像训练的视频风格迁移方法尝试通过对视频帧进行全局线性转换来保留源视频的稳定性。

然而这种全局约束往往过强，导致生成效果在变化不明显和不够稳定之间徘徊。本文想要设计一种通用的方法来提升转换视频的稳定性，同时不损害转换后的视频风格化程度。

1.2 主要动机

人在观看视频时是基于每一个局部块而不是全局来判断稳定性的。理论上，如果能够保持视频的局部都稳定，那么整个视频也将是稳定的。另外作者观察到，对于稳定视频，相邻帧或相隔较近的帧与帧之间，局部的变化往往是持续且平滑的。

也就是说，绝大部分前一帧中的局部块能在下一帧的对应位置附近找到相似块。基于这一点，文中尝试保留采样块与邻近块之间的差异性来达到保持源视频稳定性的效果。这样，仅仅通过单图中的约束，便能够达到提升转换后视频稳定性的效果。

1.3 方法简述

首先，通过在不同特征层的随机位置对生成特征进行采样。然后在内容特征的相同位置采样同样数量的向量，对每个采样向量，文中希望建模和保留其与周围向量的关联性。

为了保留这种邻近向量间的关系，作者并未简单将对应的差向量向相同的方向优化，而是使用了对比学习的形式，来增大对应差向量的互信息，同时与不同位置的差向量在隐空间拉远距离。这么做避免了风格变化和维持原状的直接冲突，使得生成的图像及视频的风格化并未减弱，而是更加合理地与内容结构融为一体。

由于更好的保留了内容图中局部之间的关联性，局部随机扰动明显减少，图像生成的质量也大大提升。注意，本文中训练过程没有视频信息参与，训练数据由单图组成。

文章另外还提出了一种轻量化的风格化网络SCTNet来配合完成通用风格迁移的任务。结合CCPL和SCTNet，文中模型在艺术化，照片化和视频风格迁移三个任务上都超越了之前方法的效果。在视频风格迁移任务中性能逼近最先进的利用视频帧训练的方法。文中还展示了CCPL