Tensorflow2.0 入门与实战学习笔记（六）--批标准化&卷积神经网络（卫星图像）

目录

1 标准化

1.1 优势

1.2 常见的数据标准化形式

2 什么是批标准化（Batch Normalization）

2.2 批标准化

2.3 为什么要做批标准化

3 小结：

4 TF实现批量的标准化

4.1 实现过程：

4.2 批标准化的预测过程

4.3 批处理的位置：

4.4 实现代码：

---

1 标准化

传统机器学习中标准化也叫做归一化，一般是将数据映射到指定的范围，用于去除不同维度数据的处理时存在的问题

 

1.1 优势

数据标准化让机器学习模型看到的不同样本彼此之间更加相似，这有助于模型的学习与对新数据的泛化

1.2 常见的数据标准化形式

 

标准化和归一化 :将数据减去其平均值使其中心为 0，然后将数据除以 其标准差使其标准差为 1。

具体公式看深度学习基础的那本书中的公式

2 什么是批标准化（Batch Normalization）

Batch Normalization, 批标准化, 和普通的数据标准化类似, 是将分散的数据统一的一种做法, 也是优化神 经网络的一种方法.

2.2 批标准化

不仅在将数据输入模型之前对数据做标准化。 在网络的每一次变换之后都应该考虑数据标准

即使在训练过程中均值和方差随时间发生变化，它也可以适应性地将数据标准化，也就是论文里面提到 纠正

 

2.3 为什么要做批标准化

批标准化解决的问题是梯度消失与梯度爆炸。

批标准化一种训练优化方法关于梯度消失，以sigmoid函数为例子，sigmoid函数使得输出在[0,1]

之间。 

随着我们的训练次数的增加，会趋向0，1从而导致 梯度消失

 

使用批处理的好处：

如果输入很大，其对应的斜率就很小，反向传播梯度就很小， 学习速率就很慢。

我们知道数据预处理做标准化可以加速收敛，同理， 在神经网络使用标准化也可以加速收敛，而且还有更多好处。

3 小结：

批标准化好处

• 具有正则化的效果
• 提高模型的泛化能力
• 允许更高的学习速率从而加速收敛

批标准化 有助于梯度传播 ，因此允许更深的网络。对于有些特别深的网络，只有包含多个BatchNormalization 层时才能进行训练。

扩展：

BatchNormalization 广泛用于 Keras 内置的许多高

级卷积神经网络架构，比如 ResNet50、Inception

V3 和 Xception。

4 TF实现批量的标准化

BatchNormalization 层通常在卷积层或密集连接层之后使用。

Tf.keras.layers.Batchnormalization()

 

4.1 实现过程：

1.求每一个训练批次数据的均值

2.求每一个训练批次数据的方差

3.数据进行标准化

4.训练参数γ，β

5.输出y通过γ与β的线性变换得到原来的数值

注意：

在训练的正向传播中，不会改变当前输出，只记录下γ与β。在反向传播的时候，根据求得的γ与β通过链式求导方式，求出学习速率以至改变权值。

4.2 批标准化的预测过程

我们在模型训练时我们就记录下每个batch下的均值和方差，待训练完毕后，我们求整个训练样本的均值和方差期望值，作为我们进行预测时进行BN的的均值和方差

4.3 批处理的位置：

原始论文讲在CNN中一般应作用与非线性激活函数之 前，但是，实际上放在激活函数之后效果可能会更好。

4.4 实现代码：