快速风格迁移

最新推荐文章于 2023-06-07 22:27:54 发布

煎饼证

最新推荐文章于 2023-06-07 22:27:54 发布

阅读量8.9k

点赞数

分类专栏：机器学习深度学习文章标签：风格迁移机器学习 CNN 计算机视觉

本文链接：https://blog.csdn.net/jianbinzheng/article/details/82432518

版权

机器学习同时被 2 个专栏收录

32 篇文章 0 订阅

订阅专栏

深度学习

9 篇文章 0 订阅

订阅专栏

风格迁移是CV的一个应用，通过融合风格图片和内容图片，实现图片的风格变换，“人人都是艺术家”
最早在论文《A Neural Algorithm of Artistic Style》中提出，但是这种方法是用“训练”的思想来做风格迁移，每次都要单独训练，速度很慢
快速风格迁移由《Perceptual Losses for Real-Time Style Transfer Super-Resolution》提出，主要是将风格迁移的训练和应用分离，可以快速应用

如https://github.com/hzy46/fast-neural-style-tensorflow 分享了几个案例
这里写图片描述
以及论文里给的例子

下面说具体原理
1. 图片的风格迁移问题，是给定原始图片和风格图片，得到转换了风格的图片的过程
2. 则原始图片表示了内容Content(C)；风格图表示了风格Style(S)；转换了风格的图片表示生成的图片
这里写图片描述
3. 那么生成目标图片的损失函数就是内容损失和风格损失的加权和

J (G) = α J c o n t e n t (C, G) + β J s t y l e (S, G)

$J(G)=\alpha J_{content}(C,G)+\beta J_{style}(S,G)$
4. 注意到现有的CV模型如VGG16，各个卷积层本质上已经是对图片进行了 特征提取，且高阶的层包含了 内容信息，低阶的层包含了 纹理的信息，各个特种层之间的相关关系表达了 风格信息
5. 内容信息用两个图在某一层的取值差来表示

l ϕ, j f e a t (y ̂, y) = 1 C j H j W j ‖ ϕ j (y ̂) - ϕ j (y) ‖ 22

$l^{\phi,j}_{feat}(\hat{y},y)=\frac{1}{C_jH_jW_j}\|\phi_j(\hat{y})-\phi_j(y)\|^2_2$

ϕ ϕ $\phi$ 表示预训练模型如VGG16；

j j $j$ 表示第j个卷积层；

ϕ_{j} (x)

$\phi_j(x)$ 表示图x在模型

ϕ ϕ $\phi$ 的第j层的激活值；

ŷ y ^ $\hat{y}$ 表示生成图G；

y y $y$ 表示原始图C；

C_{j} H_{j} W_{j}

$C_jH_jW_j$ 表示特征图的尺寸，分别为通道数、高、宽
6. 风格信息用两个图在某一层的值得Gram矩阵的差值来表示，总的风格信息应有选定的多个层求和得到

l ϕ, j s t y l e (y ̂, y) = ‖ G ϕ j (y ̂) - G ϕ j (y) ‖ 2 F

$l^{\phi,j}_{style}(\hat{y},y)=\|G^{\phi}_j(\hat{y})-G^{\phi}_j(y)\|^2_F$

F F $F$ 表示Frobenius norm，F-范数，一种矩阵范数

G_{j}^{ϕ} (x)

$G^{\phi}_j(x)$ 表示图x在模型

ϕ ϕ $\phi$ 的第j层的激活值的Gram矩阵
7. 风格信息包含了颜色、纹理、模式等样式，并期望融合这些样式来表达风格，Gram矩阵最终尺寸为c*c

G ϕ j (x) c, c' = 1 C j H j W j \sum h = 1 H j \sum w = 1 W j ϕ j (x) h, w, c ϕ j (x) h, w, c'

$G^{\phi}_j(x)_{c,c'}=\frac{1}{C_jH_jW_j} \sum^{H_j}_{h=1}\sum^{W_j}_{w=1} \phi_j(x)_{h,w,c}\phi_j(x)_{h,w,c'}$

Gϕj(x)c,c′ G j ϕ ( x ) c , c ′ $G^{\phi}_j(x)_{c,c'}$ 表示特征图中

c,c′ c , c ′ $c,c'$ 两个通道间的Gram矩阵/相关性

ϕj(x)h,w,c ϕ j ( x ) h , w , c $\phi_j(x)_{h,w,c}$ 表示图x在模

ϕ ϕ $\phi$ 中第j层的激活值(特征图)的高、宽、通道坐标为h，w，c位置的值
大意为卷积提取了某一方面的特征，如纹理层、颜色层等，通过上式融合不同的特征，两种特征共现越频繁相关性越大、数值越大，以此来表示一个图的风格信息。
8. 最后回到论文的流程图，整体结构 生成网络和 损失网络组成，前者是要训练的目标，用于风格转移图片；后者用于计算损失；训练王成后，对于同一种风格，可以随意更换内容图片进行风格转移(暂时的理解)

x x $x$ 表示输入的图片，这里和