阅读论文《 Real-Time Neural Style Transfer for Videos》

   这是2017腾讯AI Lab的一篇论文，当前阶段主要关注空间上图像质量的风格转换，对于时间方面的后续在做视频时再补充。

空间风格转换

   和DPED一样，论文的idea是将网络分成了生成网络和损失网络两个部分，生成网络用来生成图片，损失网络用来产生损失函数方便训练。下面对这两个部分分别介绍一下：

生成网络部分

   在生成网络部分，这里应该是用了之前一些论文的思想，使用三个卷积层先将图像分辨率降为原来的四分之一，然后跟随五个残差快使图像迅速收敛，最后再加两个反卷积和一个卷积层生成一个和输入分辨率相同的图片。网络结构如下图所示：


   优点：使用较少的图像通道减少模型尺寸，且方便产生时间序列，Johnson等人提出的风格化网络[12] 有5个残差块，每个残差块产生128个特征图。本文通过实验发现使用较少数量的特征映射会产生视觉上相似的结果，同时为存储模型和缩短推理时间节省大量空间。

损失函数部分

   这里只考虑空间损失部分，文章将空间损失分成了内容损失，风格损失和总方差正则化损失。分别定义如下：
   内容损失:

Llcontent(x,xd)=1ClHlWl||ϕl(x)−ϕl(xd)||22 </