谱归一化（Spectral Normalization）在以LSTM为判别器的GAN中的运用（tensorflow2）

本人自用，效果未知。目测有提升但并不大。

1.创建SpectralNorm.py

import tensorflow as tf


class SpectralNorm(tf.keras.constraints.Constraint):
    def __init__(self, n_iter=5):  # 超参数，据说5次就够了
        self.n_iter = n_iter

    def call(self, input_weights):
        w = tf.reshape(input_weights, (-1, input_weights.shape[-1]))
        u = tf.random.normal((w.shape[0], 1))
        for _ in range(self.n_iter):
            v = tf.matmul(w, u, transpose_a=True)
            v /= tf.norm(v)
            u = tf.matmul(w, v)
            u /= tf.norm(u)
        spec_norm = tf.matmul(u, tf.matmul(w, v), transpose_a=True)
        return input_weights / spec_norm

2.在主程序中

from SpectralNorm import SpectralNorm

在判别器搭建网络时

    def build_discriminator(self):
        # 定义判别器网络
        model = Sequential()
        model.add(LSTM(units=self.hidden_dim,
                       kernel_constraint=SpectralNorm(),
                       recurrent_constraint=SpectralNorm(),
                       return_sequences=True))

即参数设置中添加
kernel_constraint=SpectralNorm()                       
recurrent_constraint=SpectralNorm()
即可

原理上来说也可以再加一句bias_constraint=SpectralNorm()，但目测没有什么意义，懒得加了

此外注意谱归一化只能在判别器中使用，不能在生成器中使用，并且注意使用谱归一化后不能再使用BatchNormalization(批标准化)之类的网络层。

以上