“Datawhale X 李宏毅苹果书 AI夏令营”----------Datawhale暑期夏令营第五期·李宏毅深度学习（进阶班）【学习笔记3】

#“Datawhale X 李宏毅苹果书 AI夏令营”

第 3 章 深度学习基础

3.7 批量归一化

批量归一化（Batch Normalization， BN）：

特征归一化（feature normalization）：如果我们可以给不同的维度，同样的数值范围的话，那我们可能就可以制造比较好的误差表面，让训练变得比较容易一点其实有很多不同的方法，这些不同的方法往往就合起来统称为特征归一化（feature normalization）

特征归一化的方法之一：

Z 值归一化（Z-score normalization），也称为标准化（standardization）：把不同笔数据即不同特征向量，同一个维度里面的数值，把它取出来，对于每个维度 i，计算其平均值（mean） mi
和标准差（standard deviation） σi

3.7.1 考虑深度学习

3.7.2 测试时的批量归一化

3.7.3 内部协变量偏移
 

第 4 章 卷积神经网络

4.1 观察 1：检测模式不需要整张图像

4.2 简化 1：感受野

4.3 观察 2：同样的模式可能会出现在图像的不同区域

4.4 简化 2：共享参数

4.5 简化 1 和 2 的总结

4.6 观察 3：下采样不影响模式检测

4.7 简化 3：汇聚

4.8 卷积神经网络的应用：下围棋

下围棋是一个分类的问题，可以用全连接网络识别数据，但是用CNN架构会更好。
 

下围棋跟图像识别有共同之处

卷积神经网络 (Convolutional Neural Networks, CNN)_哔哩哔哩_bilibili

内神经网络的设计，要多考虑自己要设计的应用的特征。

CNN还可以应用在语音，自然语言处理，上。CNN在语音、自然语音处理上，他的参数共享的设计，跟图像识别的参数共享是不一样的。要考虑receptive field 的设置（吐槽，感受野这个翻译，是什么鬼，直接翻成可接收区。这有点野也到我了）

CNN，缺点：一张一样的图像，放大、缩小、或旋转之后，图形识别可能识别不到。需要进行其他处理。

其他的架构：Spatial Transformer Layer ,这个架构，可以处理图像放大、缩小、旋转后的识别问题。

  参考学习：

【小白深度学习入门】【1】卷积神经网络CNN 结构、基本原理以及常见问题详解-CSDN博客