SFTGAN论文理解非常难要再看一遍

Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform

https://www.cnblogs.com/btschang/p/9774234.html

通过深层空间特征变换恢复真实的纹理图像超分辨率

http://mmlab.ie.cuhk.edu.hk/projects/SFTGAN/.
问题：
恢复自然和真实的纹理仍然是一个具有挑战性的问题

解决办法：
我们只需要在一个基于语义分割概率映射的网络中调整几个中间层的特征。不用改变LOSS函数。这是通过一个新的空间特征实现的
为空间特征调制生成仿射变换参数的变换(SFT)层。SFT层可以与SR网络使用相同的损失函数进行端到端的训练。在测试过程中，它接受任意大小的输入图像，并仅以分类先验为条件，通过单次前向传递生成高分辨率图像。

不足的地方
我们目前的工作重点是外景的SR。尽管对类外图像有很强的支持，但它不考虑较好的类别，特别是室内场景，如家具、电器和丝绸。在这种情况下，对从LR图像中分割任务提出了具有挑战性的要求。今后的工作旨在解决这些缺点。此外，分割和SR可以相互受益，共同提高性能。
思想
使用语义分割映射作为分类先验，以约束SR中的合理解空间。
我们认为，描述图像区域(如天空、建筑、植物)语义类别的分类先验，对于约束SR中可信解空间至关重要。SR可以被语义先验改进。探讨使用语义分割映射作为分类先验的可能性。SFT层以语义分割概率映射为条件，根据语义分割概率映射生成一对调制参数，在网络的特征映射上进行空间仿射变换。
首先，我们使用语义映射来指导不同区域的纹理恢复。其次，我们利用概率映射来捕获精细的纹理区别，而不是简单的图像分割。

其中Pk为第k个类别的概率映射，k为考虑类别的总数。

Ψ定义了映射函数的先验条件
SFT层学习了映射函数M，M能输出基于先验条件调至参数对。以学习的参数对自适应影响输出，通过在空间上对SR网络中的每个中间特征映射应用仿射变换。测试的时候，要给出LR输入和分割概率映射。
更准确地说,之前Ψ建模通过一双仿射变换参数(γ、β)通过映射函数M:Ψ→(γ、β)。因此,
由于空间维度被保留，SFT层不仅执行特征上的操作，而且还执行空间上的转换。
。在本研究中，我们对M使用一个神经网络，使其可以与SR分支端到端进行优化。为了进一步共享多个SFT层之间的参数以提高效率，我们使用一个小的条件网络来生成共享的中间条件，可以广播到所有的SFT层。
同时，我们仍然在每个SFT层中保留少量的参数，以进一步调整共享条件以适应特定的参数: