AIGC-风格迁移Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate-CVPR2023论文概述

《Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate》

论文：
https://arxiv.org/abs/2304.09728
代码：
https://github.com/Huage001/Transfer-Any-Style

MOTIVATION

现有方法要么以全局方式的形式应用样式图像的整体样式，要么以预定义的方式将样式图像的局部颜色和纹理迁移到内容对应物。 无论哪种情况，对于特定的一对内容和风格图像只能生成一个结果，因此缺乏灵活性并且难以满足具有不同偏好的不同用户。 Any-to-Any Style Transfer策略使用户能够交互式地选择样式图像中的区域样式并将其应用到指定的内容区域。即一张图片的一同区域可以指定不同的风格。

style transfer

大多数任意风格迁移方法的工作方式如下：
（1）通过一些骨干特征backbone feature extractors提取器提取内容和风格特征；
（2）计算内容和风格特征的表示，然后通过一些内容风格交互机制来获得风格化特征；在第二步中，现有方法要么采用全局统计来表示风格，要么采用注意力机制，使得内容图像中的不同位置可以关注风格图像中的不同对应部分，从而提高局部风格化效果。
（3）通过特征解码器将风格化特征映射到图像空间。

SAM

SAM它是一种多功能算法，由Meta AI Research 的研究人员发布。在包含 1100 万张图像和 11 亿个掩模的广泛数据集上进行训练，可根据输入提示（例如点或框）生成高质量的对象掩模。

METHODS

steps

(1) 内容和风格图像由预先训练的 VGG-19网络编码生成，并计算没有个性化的默认内容风格注意力图；
(2) Segment Anything Model（SAM）接受用户的输入提示并获得内容和风格分割掩码；
(3) 将步骤(1)中的注意力图与步骤(2)中的控制信号融合；
(4)在给定更新的注意力图的情况下计算风格化特征，然后解码到图像空间以获得最终的风格化结果。

分割模块（Segment Anything Model，SAM）

SAM允许用户通过选择不同的区域来指定内容图像应用来自样式图像的风格。用户可以通过放置前景和背景点（绿色和红色点）、绘制边界框（蓝色矩形）或绘制轮廓来选择区域。SAM模块根据用户的输入提示获取内容和样式分割掩模，从而实现用户定制风格转移的能力。

注意力融合模块（attention fusion module）

Any-to-Any Style 设计了一个注意力融合模块，将用户输入转换为风格迁移模型的控制信号。注意力融合模块将来自用户输入和模型推断的信息结合起来，以调整风格迁移过程中的注意力分布。通过融合用户的控制信号和模型的推断结果，该模块可以实现用户对不同内容组件的风格定制，从而实现任意风格迁移。