原文链接:
Batch Normalization究竟学到了数据的什么信息?
大家好,我是泰哥。上节为大家介绍了数据归一化的发展历程,本节就讲讲Batch Normalization的计算思路,看看它究竟强在哪里?为什么它可以使模型梯度保持平稳。
1 归一化不会改变数据分布
任何归一化的本质都是对数据进行平移和放缩。
- 平移:数据集每一列数据统一加上或减去某一个数
- 缩放:数据集每一列数据统一除以或乘以某一个数
import torch
import matplotlib.pyplot as plt
# 生成200个黄色数据集,标签为1
yellow = torch.normal(mean = 2, std = 2, size=(200, 2))
yellow_label = torch.ones(size = (yellow.shape[0], 1))
# 生成200个紫色数据集,标签为0
purple = torch.normal(mean = 8, std = 2, size=(200, 2))
purple_label = torch.zeros(size = (purple.shape[0], 1))
# 合并数据集
data = torch.cat((yellow, purple), dim = 0)
label = torch.cat((yellow_label, purple_label), dim = 0)
# 查看其分布
plt.scatter(data[:, 0], data[:, 1], c = label)
而数据的平移和放缩,不会影响数据特征的分布情况。
接下来,我们使用Z-score对其进行归一化操作,然后对比查看归一化前后数据集分布:
def z_score(t):
std = t.std(0)
mean = t.mean(0)
ans = (t - mean) / std
return ans
zs_data = z_score(data)
# 然后对比查看归一化前后数据集分布
plt.figure(figsize=(12, 6))
plt.subplot(121)
plt.scatter(data[:, 0], data[:, 1], c = label)
plt.title('data distribution')
plt.subplot(122)
plt.scatter(zs_data[:, 0], zs_data[:, 1], c = label)
plt.title('zs_data distribution')
可以发现,数据在坐标中的绝对值会发生变化,但是归一化前后数据分布不变。
2 归一化其实是仿射变化
数据的仿射变换用矩阵形式来进行表示就是: x ^ = x ∗ w + b \hat x = x * w + b x^=x∗w+b其中x是原数据,w是参数矩阵,b是截距, x ^ \hat x x^是经过变换之后的数据。此处以Z-Score为例,探讨归一化操作转化为仿射变换的方法。
在归一化运算时,我们进行了如下操作:
x
−
m
e
a
n
(
x
)
s
t
d
(
x
)
\frac{x-mean(x)}{std(x)}
std(x)x−mean(x)
稍作变换,就可以写成如下表达式:
x
s
t
d
(
x
)
−
m
e
a
n
(
x
)
s
t
d
(
x
)
=
x
⋅
1
s
t
d
(
x
)
−
m
e
a
n
(
x
)
s
t
d
(
x
)
\begin{aligned} \frac{x}{std(x)} - \frac{mean(x)}{std(x)} \\ = x \cdot\frac{1}{std(x)}- \frac{mean(x)}{std(x)} \\ \end{aligned}
std(x)x−std(x)mean(x)=x⋅std(x)1−std(x)mean(x)
与
x
^
=
x
∗
w
+
b
\hat x = x * w + b
x^=x∗w+b形式相同了,但在BN中会写作
x
⊗
γ
+
β
x \otimes \gamma + \beta
x⊗γ+β,其中
⊗
\otimes
⊗表示逐个元素相乘,
γ
和
β
\gamma 和\beta
γ和β为指代参数。
3 将平移与缩放设为参数
那么在归一化的过程中,放缩的部分可以通过矩阵乘法来完成,而平移部分则更加简单,让数据集加上由每一列平移幅度所构成的向量即可完成。
在实际操作中,我们将归一化操作看成一个特殊的线性层,也将极大拓展归一化操作可以出现的位置。在经典机器学习领域,对数据的归一化只停留在输入数据时对数据进行统一处理,那么在迭代过程中,数据会逐渐失去初始化之后所带来的良好特性,此时如果我们可以像添加线性层一样,在任意隐藏层前后添加归一化层进行处理,就能避免迭代过程中数据逐渐偏移所导致的梯度不平稳问题。
g
r
a
d
3
=
∂
l
o
s
s
∂
y
^
⋅
F
(
F
(
X
∗
w
1
)
∗
w
2
)
grad_3 = \frac{\partial loss}{\partial \hat y} \cdot F(F(X * w_1) * w_2)
grad3=∂y^∂loss⋅F(F(X∗w1)∗w2)
实际上均值为0、方差为1的归一化不一定是最优选择,根据各层梯度计算公式不难看出,最佳的数据归一化方法并不是绝对的0均值1方差,而是能够使得最终各变量(输入、参数、激活函数)相乘之后梯度保持均衡。
4 BN实际流程
BN的平移和放缩分为两个阶段:
- 第一个阶段是先将数据进行Z-Score处理
- 第二阶段则是在此基础上在对数据的均值进行参数平移,并对其方差进行参数放缩
其实两个阶段做的是一件事,就是对参数进行平移和缩放。我们可以将第一阶段理解为将数据本身的均值与方差设为了初始值,第二阶段则是根据反向传播来不断的更新参数。
最终训练结束,数据将朝向方差为 γ \gamma γ、均值为 β \beta β的分布方向靠拢。
5 BN的衍生
在BN诞生之后,根据不同的业务场景,又衍生出了原理相同的一些方法,比如Layer Normalization
、instance normalization
、Group Nomalization
。
它们只是选择了数据的不同维度进行了缩放与平移,但是与BN的原理一致。