PyTorch ------图像风格迁移学习原理

图像风格迁移学习原理

图像风格迁移学习介绍

• 利用算法将一张图片的风格样式,应用到另一张图画上的技术亦可以称为Neural-Style或者Neural-Transfer
• 该算法获取三张图片,即输入图片、内容图片和样式图片,然后更改输入以使其类似于内容图像的内容和样式图像的风格
• 

基本原理

• 原理很简单我们定义两个表示距离的变量,一个表示输入图片和内容图片的距离(Dc),一个表示输入图片和样式图片的距离(Ds).即Dc测量输入和内容图片的内容差异的距离,Ds则测量输入和样式图片之间样式的差异距离.
• 最后我们将优化Dc和Ds使之最小,即完成图像风格转移

相关知识

Gram matrix

• Gram矩阵和协方差矩阵相似,差异在于Gram矩阵没有白化,直接使用两变量做内积
• Gram矩阵和相关系数矩阵叶相似,差异在于,没有白化,也没有标准化
• 总结上面说来就是Gram 矩阵相对于协方差矩阵和相关关系矩阵来说比较粗糙简单,但亦能表达其意思.
• 不了解协方差和相关关系的同学可以参考传送门,知乎赞最多的一篇文章👍👍👍👍👍👍👍👍👍
• 

VGG

• 提取图像风格和图像内容的图像是VGG19神经网络模型
• 这个可以参考上一片文章传送门👏👏👏👏👏👏👏👏👏
• 对于VGG模型一般来说,越靠近输入层的卷积层输出越容易抽取图像的细节信息例如浅层的conv1_1,conv1_2,提取的特征通常是比较简单的线,角,靠近输出的卷积层输出的是全局的信息,特征比较复杂也可以认为是整体的信息
• 下图为VGG19的特征提取的结构
• 

下面上代码时间

import time import torch import torch.nn.functional as F import torchvision import numpy as np import matplotlib.pyplot as plt from PIL import Image import cv2 as cv import os import sys import platform #检测设备 device = torch.device("cu