图像风格转换(一)——图像风格转换v1算法

图像风格转换是无监督问题的一个代表

图像风格转换是CNN的应用

 

内容特征与风格特征

内容特征

图像输入到CNN得到的某一层的激活值

 

风格特征

图像输入到CNN的得到的某一层的激活值之间的关联

 

用内容特征和风格特征去重建图片

越低层的内容特征越能得到精细的内容特征效果

越高层的风格特征越能得到抽象的风格特征效果

 

使用内容特征生成图像

和卷积神经网络训练正好相反

• 保持卷积神经网络的参数不变
• 调整图像x的像素值，使之与y图像在CNN中的内容特征距离变小

 

使用风格特征生成图像

风格特征是基于一种关联性去计算

Gram矩阵

图像在某一层的激活值会有很多个feature map, 两两之间去做相似度的计算，得到Gram矩阵

然后在Gram矩阵上去算loss

 

 

 

 

 

优缺点

优点: 逐步调整，能产生多张效果

缺点：慢，每张图像都要逐步求导