def call(self, input_tensor):
return input_tensor / tf.math.sqrt(tf.reduce_mean(input_tensor ** 2, axis=-1, keepdims=True) + self.epsilon)
与其他归一化不同,像素归一化没有任何可学习的参数。它仅由简单的算术运算组成,因此计算效率很高。
频谱归一化详解
为了解释频谱归一化,首先需要复习下线性代数的知识,以大致解释什么是频谱范数。
首先温故下矩阵理论中的特征值和特征向量:
A v = λ v Av=\lambda v Av=λv
其中 A A A是一个方阵, v v v是特征向量,而 λ \lambda λ是其特征值。
我们将使用一个简单的示例来理解这些术语。假设 v v v是关于位置 ( x , y ) (x, y) (x,y)的向量,而 A A A是线性变换:
A = ( a b c d ) , v = ( x y ) A=\begin{pmatrix} a & b\\ c & d\\ \end{pmatrix},v=\begin{pmatrix} x \\ y \\ \end{pmatrix} A=(acbd),v=(xy)
如果将 A A A乘以 v v v,我们将获得一个新的位置,其方向改变如下:
A v = ( a b c d ) × ( x y ) = ( a x + b y c x + d y ) Av=\begin{pmatrix} a & b\\ c & d\\ \end{pmatrix}\times \begin{pmatrix} x \\ y \\ \end{pmatrix}=\begin{pmatrix} ax + by\\ cx + dy\\ \end{pmatrix} Av=(acbd)×(xy)=(ax+bycx+dy)
特征向量是将A应用于向量时不会改变方向的向量。取而代之的是,它们可以仅通过标量特征值 λ \lambda λ进行缩放。可以有多个特征向量—特征值对。最大特征值的平方根是矩阵的谱范数。对于非方矩阵,我们将需要使用数学算法(例如奇异值分解(singular value decomposition, SVD
))来计算特征值,这在计算上可能会非常昂贵。
因此,采用幂迭代法可以加快计算速度,使其对于神经网络训练具有可行性。接下来,在TensorFlow
中实现频谱归一化作为权重约束。
频谱归一化实现
频谱归一化数学算法可能看起来很复杂。但是,通常,算法实现比数学上看起来更简单。
以下是执行频谱归一化的步骤:
-
卷积层中的权重是一个
4维张量
,因此第一步是将其重塑为2D
矩阵,在这里我们保留权重的最后一个维度。重塑后,权重的形状为(H×W, C)
。 -
用 N ( 0 , 1 ) N(0,1) N(0,1)初始化向量 u u u。
-
在
for
循环中,计算以下内容:
a) 用矩阵转置和矩阵乘法计算 v = ( w T ) u v =(w^T)u v=(wT)u。
b) 用其 L 2 L_2 L2范数归一化 v v v,即 v = v / ∣ ∣ v ∣ ∣ 2 v = v/||v||_2 v=v/∣∣v∣∣2。
c) 计算 u = w v u = wv u=wv。
d) 用 L 2 L_2 L2范数归一化 u u u,即 u = u / ∣ ∣ u ∣ ∣ 2 u = u/||u||_2 u=u/∣∣u∣∣2。
-
计算频谱范数为 u T w v u^Twv uTwv。
-
最后,将权重除以频谱范数。
完整的代码如下:
import tensorflow as tf
class SpectralNorm(tf.keras.constraints.Constraint):
def init(self, n_iter=5):
self.n_iter = n_iter
def call(self, input_weights):
w = tf.reshape(input_weights, (-1, input_weights.shape[-1]))
u = tf.random.normal((w.shape[0], 1))
for _ in range(self.n_iter):
v = tf.matmul(w, u, transpose_a=True)
v /= tf.norm(v)
u = tf.matmul(w, v)
u /= tf.norm(u)
spec_norm = tf.matmul(u, tf.matmul(w, v), transpose_a=True)
return input_weights/spec_norm
迭代次数是一个超参数,一般情况下5次就足够了。频谱归一化也可以实现为具有一个变量来保存向量 u u u,而不是从随机值开始。这会将迭代次数减少到1。实现频谱归一化,我们可以通过将其用作卷积核约束来应用频谱归一化,如:
Conv2D(3,1,kernel_constraint = SpectralNorm())
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python)
本涵盖了95%以上前端开发知识点,真正体系化!**
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python)