图像风格转换

图像风格转换

有两个月没更新博客了。这段时间把一些基础知识复习了一边,对一些感兴趣的领域学习了一下,也总算能够静下心来开始看英文文献了。刚好这个主题是这学期的课程的一个作业,就当做整理了。


图像风格转换 最早在论文《A Neural Algorithm of Artistic Style》中提出,提出了内容损失和风格损失函数。目的是通过与训练好的卷积网络(VGG16)来抽取特征,输入其实是有三张图片的,分别是内容图像,风格图像和随机的图像。通过损失对随机图像进行梯度下降,迭代求得最后的图像,因此速度会比较慢,难以快速应用。
在这里插入图片描述


快速风格迁移 由《Perceptual Losses for Real-Time Style Transfer Super-Resolution》提出,主要是将风格迁移的训练和应用分离,可以快速应用。其实就是把风格特征固定下来了,通过一个transform Net来直接输出生成的图片。先是卷积再转置卷积(上采样),然后求损失,再对Transform Net的变量梯度下降。之后就只需要这个生成网络了,但是只能对单一风格的,多种风格就需要训练多个网络了。

在这里插入图片描述


任意风格转换
这个模型能够自行指定内容和风格图片,还能快速生成图像。《Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization》,受Batch Normalization启发。

Deep Photo Style Transfer, 这个是Adobe公司的论文,图片很真实,没有扭曲,基本上是颜色上的仿射变换。

线性变换-快速风格转换,这个是CVPR2019的新论文,效果也很不错。

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
图像风格转换是计算机视觉领域的一个热门研究方向,它旨在将一幅图像的内容(主体)与另一幅图像风格(艺术风格或视觉风格特征)相结合,生成具有目标风格的新图像。近年来,随着深度学习的发展,特别是神经网络尤其是卷积神经网络(CNN)的进步,这一领域的研究取得了显著进展。 主要的研究方法包括: 1. **基于优化的方法**:早期的工作如Gatys等人提出的基于Gram矩阵的风格迁移算法,通过计算内容和风格损失,使用梯度下降在原始图像上迭代调整,以达到风格转换效果。 2. **预训练网络**:像Neural Style Transfer(NST)这样的方法,利用预训练的卷积网络(如VGG)提取特征,然后调整内容图像的像素来匹配风格图像风格特征。 3. **深度学习模型**:深度学习模型,如Ulyanov等人的Fast Style Transfer,通过残差网络(ResNet)和卷积注意力机制实现了更快速、实时的风格转换。 4. **端到端学习**:一些研究者发展了端到端训练的模型,如AdaIN(Adaptive Instance Normalization),它直接在输入图像上进行变换,减少了计算成本,并提高了转换效果的自然度。 5. **条件生成对抗网络(cGANs)**:GANs被应用于图像风格转换,如CycleGAN、StyleGAN等,它们不仅可以转换单个图像风格,还能处理一对图像之间的转换。 6. **Transformer架构的应用**:最近,由于Transformer模型在自然语言处理中的成功,也在图像领域尝试应用,比如DALL-E和CLIP等模型展示了强大的跨模态风格转换能力。 尽管已经取得了很多成果,图像风格转换仍然是一个活跃的研究领域,未来可能的方向包括更高效、更精确的转换,多风格融合,以及结合其他高级视觉任务,如视频风格转换、实时风格转换等。相关问题如下: 1. 除了深度学习方法,还有哪些传统的图像处理技术用于风格转换? 2. 为什么深度学习能显著提高图像风格转换的效果? 3. 未来图像风格转换可能会朝着哪些具体应用场景发展?

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值