#“Datawhale X 李宏毅苹果书 AI夏令营”
第 3 章 深度学习基础
3.7 批量归一化
批量归一化(Batch Normalization, BN):
特征归一化(feature normalization):如果我们可以给不同的维度,同样的数值范围的话,那我们可能就可以制造比较好的误差表面,让训练变得比较容易一点其实有很多不同的方法,这些不同的方法往往就合起来统称为特征归一化(feature normalization)
特征归一化的方法之一:
Z 值归一化(Z-score normalization),也称为标准化(standardization):把不同笔数据即不同特征向量,同一个维度里面的数值,把它取出来,对于每个维度 i,计算其平均值(mean) mi
和标准差(standard deviation) σi
3.7.1 考虑深度学习
![](https://i-blog.csdnimg.cn/direct/1e8c41042b7b4b879dc677621a440bd4.png)
3.7.2 测试时的批量归一化
3.7.3 内部协变量偏移
第 4 章 卷积神经网络
4.1 观察 1:检测模式不需要整张图像
4.2 简化 1:感受野
4.3 观察 2:同样的模式可能会出现在图像的不同区域
4.4 简化 2:共享参数
4.5 简化 1 和 2 的总结
4.6 观察 3:下采样不影响模式检测
4.7 简化 3:汇聚
4.8 卷积神经网络的应用:下围棋
下围棋是一个分类的问题,可以用全连接网络识别数据,但是用CNN架构会更好。
下围棋跟图像识别有共同之处
卷积神经网络 (Convolutional Neural Networks, CNN)_哔哩哔哩_bilibili
内神经网络的设计,要多考虑自己要设计的应用的特征。
CNN还可以应用在语音,自然语言处理,上。CNN在语音、自然语音处理上,他的参数共享的设计,跟图像识别的参数共享是不一样的。要考虑receptive field 的设置(吐槽,感受野这个翻译,是什么鬼,直接翻成可接收区。这有点野也到我了)
CNN,缺点:一张一样的图像,放大、缩小、或旋转之后,图形识别可能识别不到。需要进行其他处理。
其他的架构:Spatial Transformer Layer ,这个架构,可以处理图像放大、缩小、旋转后的识别问题。
参考学习: