基于Whitening and Coloring Transform(WCT)的方法由于其抽象能力强,会出现空间扭曲或者不真实的伪影的情况。作者基于WCT的方法将小波变换嵌入神经网络中,使特征能够保留结构信息以及VGG空间的统计学特性。此外,作者认为基于WCT 2 ^2 2的方法可以提高风格化的时域稳定性。
如上图所示,作者希望WCT 2 ^2 2能够在不使用后处理方法的情况下重建信号,由于小波信息会带来很小的信息损失,作者分析了使用小波下采样和小波上采样的优点。
此外,作者提出了一种递进式的风格化方法而不是多级的策略,递进式的风格化方法比起多级策略好处如下:(1)递进式的方法只需要在训练和测试的环节只使用一个decoder,而多级的训练方法需要在每一个level上都单独训练一个decoder,参数不共享,参数量大,训练困难,测试阶段开销也很大。(2)使用多级的风格化方法会导致伪影在多次encoder-decoder过程中被多次放大,而使用渐进式的方式,其伪影相对而言就少了很多。WCT的论文阅读笔记:WCT论文阅读笔记
WCT 2 ^2
风格迁移论文"Photorealistic Style Transfer via Wavelet Transforms"
最新推荐文章于 2024-06-05 14:34:17 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)