卷积神经网络学习2

经典结构：
感受野：类似神经元只接受其所支配的刺激区域内的信号。

分布式表示：每个语义概念由许多分别在不同神经元中被激活的模式表示，而每个神经元又可以参与到不同的语义概念的表示中去。即“分布式表示”与神经元是一个多对多映射。如输入图像为224*224，最后一层汇合层可得到7*7*512的响应张量，512为最后一层卷积核的个数，对应了512个不同的卷积结果（512张特征图或通道）。对于某个模式，会有不同卷积核产生相应，对于某个卷积核，会在不同模式上产生响应。

经典网络案例：Alex-Net    VGG-Nets   NIN   残差神经网络。

CNN的压缩：
CNN虽然效果很好，但过大的参数量不适用于实际应用。研究表明，CNN面临着严峻的过参数化（模型内部参数存在着巨大的冗余），Denil等人发现，只给定很小一部分参数子集（约全部参数量的5%），便可完整地重构出剩余参数，揭示了模型压缩的可行性。但参数冗余在模型训练阶段是必须的。
前端压缩：不改变网络结构的压缩技术，主要包括知识蒸馏、紧凑的模型结构设计、滤波器层面的剪枝。只改变网络层数或滤波器个数。
后端压缩：包括低秩近似、未加限制的剪枝、参数量化、二值网络。改变了网络结构。

Alex-Net网络：
AlexNet有5个卷积层和3个全连接层，作者发现移除任意一层都会降低最终的效果。网络结构如图：

具体说明参考：https://blog.csdn.net/zyqdragon/article/details/72353420