神经风格迁移(Neural Style Transfer)简介

神经风格迁移通过结合内容图和风格图,生成艺术化的图像。关键在于风格表征和图像重建,前者包括统计参数化和MRF纹理建模,后者分为在线优化和离线优化方法。本项目采用Gatys等人的方法,基于VGG网络提取特征,通过内容损失和风格损失(Gram矩阵)进行优化,同时提供多重风格迁移、保留颜色迁移和拉普拉斯算子增强细节的功能。
摘要由CSDN通过智能技术生成

这是对一个Neural Style Transfer project的总结,GitHub链接是:戳我

神经风格迁移是将一幅图片的内容和另一幅艺术图片的风格结合,生成一张艺术化的图片的过程。输入是一张内容图和一张风格图,输出是风格化的结果。

神经风格迁移的两大关键分别是风格表征和图像重建。

风格表征,顾名思义,就是用什么方法来提取风格、表示风格,如何建立模型(也叫纹理建模)。根据Yongcheng Jing et al. [1]总结,大体分两类:基于统计的参数化纹理建模和基于MRF(Markov Random Fields)的非参数化纹理建模。

图像重建则是用特定的特征来重建出一张图像,也可以主要依据重建速度分为两大类:基于在线图像优化的慢速图像重建方法和基于离线模型优化的快速图像重建方法。

根据风格表征和图像重建的方法不同,风格迁移大体可分为四类,具体我不对每一类进行介绍了,大家有兴趣可以移步这篇论文[1],或者阅读这篇文章的中文精简版

我们这个project实现的方法属于Gatys et al.也就是风格迁移鼻祖的基于统计的参数化纹理建模以及在线图像优化的慢速方法,在这个基础上又增添了多种风格迁移、保留颜色迁移、以及引入拉普拉斯算子来提升风格化图像质量等方法。

这个算法的核心思想是建立在此之上的:先将图像经过预训练的VGG网络,提取feature map。对于输入的内容图片提取的特征P和对于输出的结果图片提取的特征F来说,我们用上标

  • 2
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值