批量归一化
如果我们可以给不同的维度,同样的数值范围的话,那我们可能就可以制造比较好的误差表面,让训练变得比较容易一点其实有很多不同的方法,这些不同的方法往往就合起来统称为特征归一化(feature normalization)。
Z值归一化
深度学习的归一化
批量归一化
测试时的批量归一化
-取训练时的移动平均
内部协变量偏移:训练集和预测集样本分布不一致
批量归一化不一定能减少协变量偏移,但是可以平滑化误差表面
卷积神经网络
感受野的参数称为滤波器
卷积层=感受野+共享参数
图像经过各个滤波器得到的各组数字的集合称为特征映射,有几组数据就意味着有几个通道
下采样不影响模式检测
汇聚-减少运算量