以LeNet为例，关于CNN网络结构学习的一点小笔记

注：以下内容并不是要解释什么东西，只是单纯供自己记住的小笔记，方便以后查看

1. COV层的作用是学习输入的特征表示，卷积核计算特征映射，每个卷积核与input图像卷积会产生一个特征图，每个特征映射对应一种特征。

通过卷积运算，可以使原信号特征增强，并且降低噪音。
除了第一次卷积以外，其余卷积的时候会用前一层得到的全部或部分特征图加权组合后再与卷积核卷积。
神经元的个数=feature map数*特征图大小(n*n)，可以理解为一个像素点对应一个神经元。
2. 以6个5*5的卷积核为例，conv层可训练参数数量：每个kernel包括5*5个unit参数和一个bias参数，一共6个滤波器，共(5*5+1)*6=156个参数；共156*(28*28)=122,304个可训练连接。
3. pool层可看作是模糊滤波器，起到二次特征提取的作用。
4. 以2*2的kernel为例，pool层：每个单元的2*2感受野并不重叠，pool层可训练参数数量：前一层得到6个特征映射，每个特征图对应一个权重参数和偏置参数，共6*(1+1)=12个可训练参数；
kernel包含2*2+bias=5个参数，6个28*28的特征图，每个特征图的2*2的区域与kernel连接，总共需要14*14个连接，所以共5*(6*14*14)=5880个可训练连接。
5. 假设全连接层的输出为84，前一层的特征图为120个1*1，全连接层可训练参数数量：84*(120*(1*1)+1)=10164）；每一个特征图对应1*1个权重参数（因为是全连接每个像素点），所有特征图对应同一个偏置参数。
6. output层由欧式径向基函数（Euclidean Radial Basis Function）单元组成，每类对应一个单元，每个单元有84个输入。
7. input层和output层没有可训练参数。