RMS正则化 和 STD正则化 的一些见解

研究styleganv2过程中，记录下它使用的正则化方法的一些见解

RMS=方均根
STD=标准差

stylegan 中的 pixel_norm 是 RMS正则化
常见的BN层，IN层，用的是STD。

在不减均值的情况下
RMS正则化公式

t = torch.rand([3, 128, 64, 64])
t = t * t.pow(2).mean(dim=1,keepdim=True).rsqrt()

标准差正则化公式

t = torch.rand([3, 128, 64, 64])
t = t / t.std(dim=1,keepdim=True)

一个想法
截断标准差最小为0.33，限定增益上限。
然后通过信号下面积和Log函数来控制信号均值范围。

想法期望，在使用验证期固定的gamma和bias时，使信号也有一定的可变性，实现另外一种ada_in的效果。