StyleBank 学习小记：一个可以分离风格与内容的图像风格转换器

实现代码：https://github.com/yjc567/StyleBank

本文是对文章 StyleBank: An Explicit Representation for Neural Image Style Transfer 的整理，以及自己重现其实验的结果和查阅相关资料的记录。

大纲

本文的大体内容分为以下几点：

1. StyleBank的网络结构
2. StyleBank的训练策略
3. StyleBank的特性与优点
4. StyleBank的参数调整对实验结果的影响
5. 训练结果分析
6. Instance normalization简介
7. Total Variation（TV）loss简介
8. 将VGG net用于特征抽取，以及Gram Matrix 简介
9. 对FRIQA和SSIM两个图像质量评价方法的介绍
10. 反思
11. 参考文献

因为时间有限，加上自己的实验还没有完全结束。所以本文着重于讲述[1, 2, 6, 7, 8]这几个偏向理论的部分，其余部分留在下一次的实验报告中提交

StyleBank的网络结构

网络结构

1. 图片编码器（image encoder）$\mathcal{E}$。
2. StyleBank层（StyleBank layer）$\mathcal{K}$，其中包括$n$个并行的过滤器（filter，在本文中，使用cnn作为filter）${\lbrace K_i \rbrace},(i = 1, 2, \ldots,n)$，对应n个不同的风格。
3. 图片解码器（image decoder）$\mathcal{D}$。


训练分枝

1. 自动编码器（auto-encoder）分枝 $\mathcal{E} \rightarrow \mathcal{D}$
2. 风格化（stylizing）分枝 $\mathcal{E} \rightarrow \mathcal{K} \rightarrow \mathcal{D}$

训练的目标是使图像的内容（content）经过$\mathcal{E}$和$\mathcal{D}$后尽可能的不会损失。同时图像的风格信息会被StyleBank加入，以在保持内容的同时将图像用不同风格表现出来。也就是希望网络可以尽可能地将图像的内容和风格分离开。

输入与输出

输入一个图像（content image）$I$，编码器$\mathcal{E}$会从这个图像抽取出多层特征（multi-layer feature maps）$F$，即：$F = \mathcal{E}(I)$

在$\mathcal{E} \rightarrow \mathcal{D}$分枝中，直接将$F$传给解码器$\mathcal{D}$，得到输出图像$O$，即$O = \mathcal{D}(F)$，输出图像$O$应该和输入图像$I$尽可能的接近，这也是我们训练的目标

在$\mathcal{E} \rightarrow \mathcal{K} \rightarrow \mathcal{D}$分枝中，$F$还需要通过$\mathcal{K}$中的某一层 K