《解析深度学习》部分笔记

记录一些书里的知识点，摘自魏秀参的《解析深度学习-卷积神经网络原理与视觉实践》

 

• 第三章 卷积神经网络经典结构

1.在深度学习中，深度卷积神经网络呈现“分布式表示”，既“语义概念”到神经元是一个多对多映射。直观讲就是：每个语义概念由许多分布在不同神经元中被激活的模式表示；而每个神经元又可以参与到许多不同语义概念的表示中去。（对某个模式，会有不同卷积核产生响应；对某个卷积核，也会在不同模式上产生响应）

2.神经网络响应的区域多呈现“稀疏”特性，即响应区域集中且占原图比例较小。

3.深度特征的层次性。卷积操作可以获取图像区域不同类型的特征，而池化等操作可以对这些特征进行融合和抽象，随着若干卷积和池化操作的堆叠，从各层得到的深度特征逐渐从泛化特征（如边缘、纹理等）过渡到高层语义表示（躯干、头部等）。

• 第四章 卷积神经网络的压缩

（这部分知识点挺多，后续若有使用的地方专门补充）

• 第五章 数据扩充

1.特殊的数据扩充方式：Fancy PCA

首先对所有训练数据的R、G、B像素进行主成分分析，得到对应的特征向量和特征值，然后根据特征向量和特征值可以计算一组随机值，将其作为扰动项加入到原像素值中即可。

参考文献：Alex Krizhevsky,Ilya Sutskever,and Geoffrey E. Hinton. ImageNet classification with deep convolutiional neural networks. 2012

2.特殊的数据扩充方式：监督式数据扩充

海康威视研究院提出的一种监督式&#