摘要:
本文提出了如下的假设:图像风格可以被分解为空间区域、颜色与光照信息和跨空间尺度这三个因素。
对于空间因素的控制,通过引入一个新的空间引导矩阵,来控制风格图像的哪一部分用来风格化内容图像对应的图像区域。
对于颜色因素的控制,可以只采用亮度通道进行迁移或者颜色直方图匹配方法来实现。
对于空间尺度因素的控制,通过选择神经网络中不同层对应的统计信息进行风格迁移来实现。
spatial control(没大看懂)
原理:
目标是控制风格图像的哪个区域用于风格化内容图像中的每个区域。例如,我们希望将一种风格应用于天空区域,另一种风格应用于地面。主要是加入R个引导通道(结果中的那些小图即为引导通道)。
第一种方法是将包含在风格图像中的每个图层的特征图与R个引导通道Tr相乘,并且为风格图像中的每个R区域计算一个空间引导的gram矩阵。通常,我们定义空间引导特征图为
第二种方法是用特征图来堆叠引导通道,而不是在每个引导通道上计算一个Gram矩阵。相比较于第一种方法