风格转移
最简单的方法,元图片进行平移拼接。
对于一些简单重复的图片很有效。
如果是规则性不强的图片呢?
Gram Matrix
C个卷积核每一行描述了卷积组对原始图像的描述。
CN2 对应平均,若某个位置值大,则可能说明图像该种“元素反复出现”(权值是对图像的逼近描述)。也就是一种风格。
给定一张图片训练噪声图片和原始图片GramMatrix反向更新噪声图片。
形成了和原始图片很接近的图片。
能否形成梵高式风格图片?
简单,一个负责风格,一个负责内容。
参考特征逼近。
这里内容选择一般是选择较高层的,忽略细节。
内容多一些或者是风格多一些。自由选择
大图片卷积核视野小,更关注细节。
多种风格,多个GramMatrix比例调整一下。
问题:每次更新噪声图片太慢了。
解决方法:加个神经网络。
训练好GramMatrix(本质上是训练好卷积核)来个图,给一个输出,速度杠杠滴。
因为风格迁移可能就关注某个特征图,所以最好别批归一化,选择实例归一化
人们发现,改变实例归一化参数即可实现风格迁移。