Adaptive Instance Normalization (AdaIN Normalization) :
链接: link
Instance Normalization:
Layer Normalization&&Batch Normalization:
attention和rnn用的是layer norm而不是batch norm的
layer norm希望的是一个batch u = 0
σ=1,而batch norm是希望一种特征 u = 0 ,σ=1。
链接: link
这个把Normalization讲的清楚
ResBlock:resnet
Non-local-Block:注意力机制核心就是给元素以不同的权重
链接: link
ASPP(空洞卷积金字塔):不进行下采样,就可以获取较多范围的信息
链接: link