神经风格转换（neural style transfer）

漂流の少年

于 2023-08-03 15:03:27 发布

阅读量359

点赞数 1

分类专栏：机器学习&深度学习文章标签：人工智能深度学习神经风格转换卷积神经网络

本文链接：https://blog.csdn.net/YINZHE__/article/details/132075520

版权

机器学习&深度学习专栏收录该内容

32 篇文章 4 订阅

订阅专栏

探讨神经风格转换，涉及代价函数、内容相似性和风格特征，引用Gatys等人的研究。

摘要由CSDN通过智能技术生成

神经风格转换就是借助其它图像的风格，来对本图像进行重绘。

基于内容图片C和风格图片S生成图片G，需定义一个代价函数(cost function)，并使其最小化。

代价函数：内容代价函数+风格代价函数

$J(G)=\alpha J_{content}(C,G)+\beta J_{style}(S,G)$

内容代价函数： $J_{content}^{[l]}(C,G)=\frac{1}{2}\left | \left | a^{[l](C)}-a^{[l](G)} \right | \right |_{2}^{2}$

$a^{[l](C)}$ 和 $a^{[l](G)}$ 表示第 $l$ 个隐藏层经过激活函数(activation)后的输出。
$a^{[l](C)}$ 和 $a^{[l](G)}$ 越接近，内容图片C和生成图片G的内容就越相似。

风格代价函数： $J_{style}^{[l]}(S,G)=\frac{1}{(2n_{H}^{[l]}n_{W}^{[l]}n_{C}^{[l]})^{2}}\left | \left | G_{kk^{'}}^{[l](S)}-G_{kk^{'}}^{[l](G)} \right | \right |_{2}^{2}$

$a_{i,j,k}^{l}$ 表示第 $l$ 个隐藏层的激活输出，i,j,k表示输出的高、宽、通道数。

$G_{kk^{'}}^{[l](S)}=\sum_{i=1}^{n_{H}^{[l]}}\sum_{j=1}^{n_{W}^{[l]}}a_{ijk}^{[l](S)}a_{ijk^{'}}^{[l](S)}$

$G_{kk^{'}}^{[l](G)}=\sum_{i=1}^{n_{H}^{[l]}}\sum_{j=1}^{n_{W}^{[l]}}a_{ijk}^{[l](G)}a_{ijk^{'}}^{[l](G)}$

上面两个矩阵称为“Gram matrix” ，用来表示输出特征图的 k通道和 k'通道之间的特征相关性(feature correlations)。S和G分别对应风格图片S和生成图片G。

参考文献

Gatys, Leon & Ecker, Alexander & Bethge, Matthias. (2015). A Neural Algorithm of Artistic Style. arXiv. 10.1167/16.12.326.

漂流の少年

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
神经风格转换（neural style transfer）

神经风格转换（neural style transfer）
复制链接

扫一扫

专栏目录