风格迁移还能玩出花？谷歌重磅推出新风格迁移模型：零训练，秒变大师级风格！

谷歌开源全新风格迁移模型RB-Modulation，无需训练即可实现风格控制。体验地址、代码、论文地址见文末。

小窗幽记机器学习

记录机器学习过程中的点点滴滴和坑坑洼洼

公众号

RB-Modulation是一种无需训练即可个性化扩散模型的新型即插即用解决方案。现有的无需训练的方法在以下方面存在困难：

(a) 在没有额外的风格或内容文本描述的情况下从参考图像中提取风格，

(b) 参考风格图像中不必要的内容泄漏，以及

(c) 有效地组合风格和内容。

RB-Modulation 基于一种新颖的随机最优控制器，其中风格描述符通过终端成本编码所需属性。由此产生的漂移不仅克服了上述困难，还确保了对参考风格的高度保真，并遵循给定的文本提示。还引入了一种基于交叉注意力的特征聚合方案，使 RB-Modulation 能够从参考图像中解耦内容和风格。通过理论论证和实证证据，RB-Modulation框架展示了在无需训练的情况下精确提取和控制内容和风格。此外，RB-Modulation的方法允许内容和风格的无缝组合，这标志着摆脱了对外部适配器或 ControlNets 的依赖。

以下请欣赏实践结果：

总之，RB-Modulation提供了一种强大且灵活的工具，为图像处理和生成艺术开辟了新的道路，让用户能够轻松实现各种独特的风格创造与内容融合。\

附上体验地址：

https://huggingface.co/spaces/fffiloni/RB-Modulation

项目地址：

https://rb-modulation.github.io/

代码：

https://github.com/google/RB-Modulation