Spade CNN技术细节

Input: (1,3,256,64,128)
做downsample 成 : (1,3,8,16,32)
首先有一个 EqualConv3D(3,128,3,3,stride=1,padding=1) 对 input 进行卷积得到：
(1,128,8,16,32)

input channel: 3
output channel: 128

EqualConv3D 就是一个普通的3D CNN， 只是 用到了 equalized learning rate.

然后经过第1个 Spade Block：
将 input 的 Volume (1,3,64,128,256 )进行下采样 （1,3,8,16,32）

actv = self.mlp_shared(segmap) 经过一个3D CNN 改变通道为128  (1,128,8,16,32)
gamma = self.mlp_gamma(actv) 这个3DCNN 预测 gamma (1,128,8,16,32)
beta = self.mlp_beta(actv) 这个3DCNN 预测 beta (1,128,8,16,32)
# apply scale and bias
out = normalized * (1 + gamma) + beta  outshape: (1,128,8,16,32)

上面是一个 Spade 的步骤， Spade CNN 的步骤是 Norm ----> Act -----> Conv
上面的 Tensor 经过 Act 之后的 shape (1,128,8,16,32) 然后经过一个卷积成为 (1,64,8,16,32)

经过第一个block 之后， Tensor 变成了 （1，64，8，16，32），通道数减半，然后进行2倍的上采样 （1，64，16，32，64）

经过第2个Block

 for i in range(self.block_num):
     block = getattr(self, f'spade_block{i}')
      x = block(x, input)
      x = self.up2x(x)

X 变成（1，32，16，32，64） 进行2倍上采样 （1，32，32，64，128）

经过第3个Block

X 变成（1，16，16，32，64） 进行2倍上采样 （1，16，64，128，256）