Deep Photo Style Transfer论文提出了一种新的风格迁移方法，通过在色彩空间上施加仿射变换约束，保持内容图结构的完整性，同时结合语义分割实现更精准的风格迁移。这种方法解决了传统风格迁移导致的几何形变问题，但也面临需要高精度语义分割图和计算效率较低的挑战。应用于照片风格转换和时间变换处理。
Deep Photo Style Transfer 论文阅读笔记
介绍
在Deep Photo Style Transfer这篇论文之前，基于深度学习的风格迁移的效果都是绘画风，即使输入是写实的照片，输出也会有一些失真的畸变。这篇论文引入了一种把风格迁移限制为局部区域色彩空间上仿射变换的约束条件，并把这种约束条件表示为一个完全可微的参数项，进而消除了输出图像的畸变。该论文的实现基于 Neural Style transfer by Gatys 。
核心贡献
内容图的结构保留
风格迁移中有一个矛盾是我们希望能够有强烈的局部效果，同时又保持内容图的结构不带来几何形变。如我们希望图1中的窗户打开灯光，却不希望边缘扭曲。之前的一些算法可以解决特定图像的扭曲问题，该论文提出的把风格迁移限制在色彩空间上的仿射变换上的方法则是一种通用的解决方案。
在语义层级上精准迁移风格，使迁移后的图像真实合理
以往的算法常会遇到一个问题，把风格迁移到一些不合理的对象上，如把草地的绿色迁移给蓝天。该论文通过使用语义分割图做指导，把风格迁移局限在相同语义的区域上避免了这个问题。
分析
基于Neural Style transfer by Gatys
Neural Style transfer by Gatys中损失函数由内容损失 lc
最低0.47元/天 解锁文章
扫一扫
1767
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
