3
Content-Style损失函数
风格转换是将图像的语义内容转换成不同风格的过程。样式传递模型的目标是,给定一个内容图像(C)和一个样式图像(S),生成包含C的内容和S的样式的输出图像。
在这里,我们讨论用于训练这种样式传递模型的内容样式损失函数的最简单实现之一。内容样式损失函数的许多变体已用于以后的研究中。下一节将讨论一个这样的损失函数,称为纹理损失。内容/样式丢失的数学表示:
已经发现,CNN在较高级别捕获有关内容的信息,而较低级别则更关注单个像素值。因此,我们采用CNN的一层或多层,并计算原始内容图像(C)和预测输出的激活图。
类似地,样式损失可以通过计算为预测图像(P)和样式图像(S)的较低层特征图的L2距离来计算。然后将所得的净损失函数定义为-
这里的alpha和beta是可以调整的超参数。
注意:仅减少样式和内容损失的优化会导致高像素化和嘈杂的输出。为了解决这个问题,引入了总变化损失,以确保所生成图像的空间连续性和平滑度。
4
Texture损失函数
Gatys等人(2016年)首次引入样式损失组件,以实现图像样式转移。
纹理损失是作为对感知损失的改进而引入的损失函数,特别适合于捕获图像样式。Gatys等人发现,我们可以通过查看激活或特征图(来自VGG网络)中值的空间相关性来提取图像的样式表示。这是通过计算Gram矩阵完成的Gram矩阵-