Datawhale X 李宏毅苹果书 AI夏令营 (深度学习进阶——TASK3）

1.批量归一化：把山铲平（很形象的比喻）Batch Normalization,BN，可以有效提高训练的效果。比如特征归一化，常用的是Z值归一化，即采用如下公式：

2.考虑深度学习：如果采用sigmoid激活函数，我们则建议采用对Z进行特征归一化处理，把所有的值挪到0附近，利用该公式计算z特征的平均值，然后计算标准差，最终归一化。

3.测试时的批量归一化：因为实际应用的时候不可能等到数据都传进来再进行计算，采用计算移动平均来代替实际的平均，公式如下：

P为超参数，一般来说Pytorch将其设置为0.1，这个平均值有点类似于概率统计得到的一个近似值

4.内部协变量偏移：如果不进行归一化，每次对下一层变量进行训练，可能存在a和a'分布不一致的情况，如果进行归一化可能使得分布比较接近，从而对训练有帮助。（但是论文说，贵部归一化区别不大，所以内部协变量偏移可能不是主要问题，也不是归一化会更好的关键。

也有文章说，是表面没那么崎岖了使得它更好的训练效果，其他的归一化也有类似的效果。

5.卷积神经网络：

将图片作为全连接网络的输入，图片可以看成一个三维向量，像素*像素*某颜色下的通道强度，全连接网络有一个很大的权重，容易产生过拟合。为了避免过拟合，在做图像识别的时候，考虑到图像本身的特性，并不一定需要全连接，即不需要每个神经元跟输入的每个维度都有一个权重。

——检测不需要整张图像：比如看一个鸟看到了嘴，翅膀，颜色就知道这是一只鸟。

——每个神经有特定的感受野（说着说守备范围）（即感受区域），或者是特定的感受颜色

——同样的模式可能出现在图像的不同区域，当感受野足够大，只需要留一个检测鸟嘴的神经元就可以了。

——共享参数：这些参数称之为滤波器

——下采样不影响模式检测：去掉全部偶数行和偶数列，狗还是狗

——汇聚：一个固定的行为，在一个范围内找一个最大值或者最小值，使图片变小

因此，全连接网络是不必要的，有限制的CNN足够。

6.CNN卷积神经网络模型应用：下围棋（是一个19*19分类的卷积神经网络）：汇聚对精细任务不适用