2024春 神经网络与深度学习课程总结 第6周

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、风格迁移

1.1 方法

1. 初始化合成图像，例如将其初始化成内容图像。该合成图像是样式迁移过程中唯一需要更新的变量，即样式迁移所需迭代的模型参数。
2. 选择一个预训练的卷积神经网络来抽取图像的特征，其中的模型参数在训练中无须更新。深度卷积神经网络凭借多个层逐级抽取图像的特征。可以选择其中某些层的输出作为内容特征或样式特征。

举例：这里选取的预训练的神经网络含有3个卷积层，其中第二层输出图像的内容特征，而第一层和第三层的输出被作为图像
的样式特征。接下来，我们通过正向传播（实线箭头方向）计算样式迁移的损失函数，并通过反向传播（虚线箭头方向）迭代模型参数，即不断更新合成图像。

样式迁移常用的损失函数由3部分组成：
⚫ 内容损失（content loss）使合成图像与内容图像在内容特征上接近
⚫ 样式损失（style loss）令合成图像与样式图像在样式特征上接近
⚫ 总变差损失（total variation loss）则有助于减少合成图像中的噪点。
最后，当模型训练结束时，我们输出样式迁移的模型参数，即得到最终的合成图像。

1.2 代价函数

内容代价函数：
选定隐藏层l，用𝑎 𝑙 [𝐶]表示图片C在第l层的激活项输出， 𝑎 𝑙 [G]表
示图片G在第l层的激活项输出，则定义内容代价函数如下：

风格矩阵：