Tensorflow2实现像素归一化与频谱归一化

def call(self, input_tensor):

return input_tensor / tf.math.sqrt(tf.reduce_mean(input_tensor ** 2, axis=-1, keepdims=True) + self.epsilon)

与其他归一化不同，像素归一化没有任何可学习的参数。它仅由简单的算术运算组成，因此计算效率很高。

频谱归一化

---

频谱归一化详解

为了解释频谱归一化，首先需要复习下线性代数的知识，以大致解释什么是频谱范数。

首先温故下矩阵理论中的特征值和特征向量：

A v = λ v Av=\lambda v Av=λv

其中 A A A是一个方阵， v v v是特征向量，而 λ \lambda λ是其特征值。

我们将使用一个简单的示例来理解这些术语。假设 v v v是关于位置 ( x , y ) (x, y) (x,y)的向量，而 A A A是线性变换：

A = ( a b c d ) , v = ( x y ) A=\begin{pmatrix} a & b\\ c & d\\ \end{pmatrix},v=\begin{pmatrix} x \\ y \\ \end{pmatrix} A=(ac​bd​),v=(xy​)

如果将 A A A乘以 v v v，我们将获得一个新的位置，其方向改变如下：

A v = ( a b c d ) × ( x y ) = ( a x + b y c x + d y ) Av=\begin{pmatrix} a & b\\ c & d\\ \end{pmatrix}\times \begin{pmatrix} x \\ y \\ \end{pmatrix}=\begin{pmatrix} ax + by\\ cx + dy\\ \end{pmatrix} Av=(ac​bd​)×(xy​)=(ax+bycx+dy​)

特征向