《动手学深度学习》组队学习 Task06-08

Task06 批量归一化

对输入的标准化（浅层模型）
处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。
标准化处理输入数据使各个特征的分布相近.

批量归一化（深度模型）
利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。

分为：
1.对全连接层做批量归一化。位置：全连接层中的仿射变换和激活函数之间。
2.对卷积层做批量归一化。位置：卷积计算之后、应⽤激活函数之前。
3.预测时的批量归一化。

接下来是代码的从零实现和简单实现。

残差网络

深度学习的问题：深度CNN网络达到一定深度后再一味地增加层数并不能带来进一步地分类性能提高，反而会招致网络收敛变得更慢，准确率也变得更差。

稠密连接网络

主要构建模块：
稠密块（dense block）： 定义了输入和输出是如何连结的。
过渡层（transition layer）：用来控制通道数，使之不过大。

（正在学习，未完待续）