图像风格迁移

图像风格迁移

前言

对于图像分类模型,可以简单划分成两个部分,特征提取+特征分类。
1.其中特征提取主要由卷积层实现,浅层的卷积层往往只能提取一些点和线,深层的卷积层能够获得更多特征,如部分物体等。
2.分类主要由全连接层实现,该层将卷积层提取到的特征转换成概率进行输出。
为什么说这个呢,因为图像风格迁移是输入特征,得到具有这种特征的图像。恰好和图像分类相反。所以,实现图像风格迁移其实就是利用卷积层的中间特征还原出具有该特征的图像。

论述

A.风格损失
1.图像风格的表示:图像卷积层特征的Gram矩阵。
举个栗子:假设某个卷积层L输出的特征是101032,即长宽10,通道32的张量,用F1表示第一个通道的特征,F32表示第32个通道的特征。如图:
在这里插入图片描述
2.损失函数:
A图片:风格图片。
G图片:需要得到A风格的图片。
a.我们首先得到A图片的Gram矩阵。
b.得到G图片的Gram矩阵。
在这里插入图片描述
公式如上图所示:
4NM是一个归一化项,为了防止数量级差距过大,主要目的就是让差越变越小,一般情况下,我们采取的是多层卷积结果进行还原,所以这个时候需要在公式前面加一个权重。
B.内容损失。
根据原始图像和采用卷积特征生成的图像之间内容的差异进行计算损失值。
在这里插入图片描述
C=A+B
P为原始的内容图像,A为原始的风格图像,X为需要生成的图像。希望X具有P内容的同时,具有A的风格。阿尔法和β是超参数,用来调整图像内容和风格的占比。
在这里插入图片描述

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

江小皮不皮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值