Arbitrary Video Style Transfer via Multi-Channel Correlation-2020arXiv

摘要

论文bib格式引用：

@article{deng2020arbitrary,
  title={Arbitrary Video Style Transfer via Multi-Channel Correlation},
  author={Deng, Yingying and Tang, Fan and Dong, Weiming and Huang, Haibin and Ma, Chongyang and Xu, Changsheng},
  journal={arXiv preprint arXiv:2009.08003},
  year={2020}
}

论文下载地址

整体流程图

单帧风格化：
先对内容图像和风格图像的特征矩阵resize，内容和风格的channel-wise相关矩阵计算

生成的风格图像的风格表示


对每个通道的特征在计算时都要考虑三个通道的风格特征

进一步简化表示


视频帧间连续性的保持
前提考虑是生成的风格化视频应该和输入视频保持一致，所以满足约束


用特征来表示



损失函数设计：
总损失

感知损失


认同损失（identity loss)


光照损失