神经网络中的参数

一 可学习的参数

• 输入层（input）：
  读取图片，将图片用数字化的矩阵来表示。没有参数需要学习

• 卷积（convolution）：
  选用卷积核（filter，可以是多个）对图片的多个通道进行卷积操作（element-wise的相乘）。卷积计算会使图片的长宽变小，但是"高度"变大（如图中的图片逐渐变"厚"），这是因为使用的卷积核（filter）较多，使得计算得到的图片通道数（channels）也会增加。卷积层引入了"卷积核/filter"，假设卷积核大小为，图片有个通道（channels）/维度，而选用的"卷积核/filter"有个，再加上bias，可以学习的参数有：个。

• 激活（activation）：
  该操作主要是对之前的卷积计算结果做非线性处理，对得到的矩阵进行了一个变换，没有引进参数。一般的激活层没有参数，但如果激活函数是PReLU则不同了——它需要学习一个x < 0时的权值，方法也是上一层负的输出与对应的当前层误差的积之和。

• 池化（pooling）：
  对非线性化后的高维矩阵进行"减采样"，同样以一定步长逐步将矩阵中的"元素块（例如：）"仅使用一个数来代表，比如：取"元素块"中的最大值、平均值等计算方式。没有引进参数。

• 拉平(Flatten)：
  将高维矩阵"拉平"，转换为一维矩阵，元素依次排序。对输入矩阵进行reshape，不引进参数。

• 全连接（Fully Connected）:
  设置下一层神经元的个数，并使用仿射变换得到下一层神经元的值，因为两层之间的神经元会全部连接起来，所及叫做全连接。对前后神经元做了仿射变换，引进的参数有权重和偏置，假设n个神经元连接m个神经元，则引入的参数有。

• 输出层计算分类概率（Softmax）：
  对最后一层的神经元进行概率输出计算，即：给出各分类标签的概率，比如这里预期"Car"的概率一定要大于其他分类标签的概率值，所以最后一层的神经元个数和分类的标签个数需要一致。和全连接层没什么区别，只是输出的神经元个数要求是分类的标签个数，所以引入的变量也是，这里m是分类的标签个数。

• Batch-Normalization：
  这一层其实在每一次卷积、全连接后都可以进行计算，BN层引入的参数则和输入层神经元个数相关，假设输入神经元个数为n，则该层引进的参数为2n。BN层有一个scale和一个shift参数，也可以看作是权值和偏置量。

二 不可学习的参数（超参数）

 学习率、batch size、weight decay、模型的深度宽度分辨率等。

作者：MunCN
链接：https://www.jianshu.com/p/aa856451f916
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。