所谓图像风格迁移,是指利用算法学习著名画作的风格,然后再把这种风格应用到另外一张图片上的技术。
1 图像风格迁移的原理
在学习原始的图像风格迁移之前,可以先回忆一下ImageNet图像识别模型VGGNet。
事实上,可以这样理解VGGNet的结构:前面的卷积层是从图像中提取“特征”,而后面的全连接层是把特征转换为类别概率。其中VGGNet中的浅层(如conv1_1,conv1_2),提取的特征往往是比较简单的(如检测点、线、亮度),VGGNet中的深层(如conv5_1、conv5_2),提取的特征往往是比较复杂(如有无人脸或某种特定物体)。
VGGNet的本意是输入图像,提取特征,并输出图像类别。图像风格迁移正好与其相反,输入特征,输出对应这种特征的图片,如图7-1所示。
具体来说,风格迁移使用卷积层的中间特征还原出对应这种特征的原始图像(类似于谷歌的Deep Dream模型,不过Deep Dream模型是使用最后一层的类别概率还原出对应的原始图像,使用训练好的模型,权重参数不变,假设你要还原香蕉的原始图像,随机初始化输入图像,使得输入图像经过卷积池化全连接等模型的一系列操作后,最后一层对应香蕉的概率最大,不断调整输入图像,使其输出香蕉值接近于1,此时就还原出了香蕉的