前段时间亲手搭建了CNN模型,使用tensorflow的许多内置函数时其中的参数数值都是借鉴别人的配置,对其中道理并不了解。昨天和mentor sync的时候真的觉得好惭愧,知其然不知其所以然一问就尴尬==这篇文章总结一下这些参数的含义和设置吧~
1. 卷积层和input的channel
在CNN中,想搞清楚每一层的传递关系,主要就是 height
,width
和 channels
的变化情况。
首先看内置函数conv2d(卷积层)
其中input是输入, filter是卷积核
input : [batch, in_height, in_width, in_channels]
, filter : [filter_height, filter_width, in_channels, out_channels]
因为进行计算的时候是卷积核和input的部分tensor进行卷积,所以input.in_channel === filter.in_channels。看一下图示:
假设现有一个为 6×6×3 的图片样本,使用 3×3×3 的卷积核(filter)进行卷积操作。此时输入图片的 channels 为 3(stride=1) ,而卷积核中的 in_channels 与 需要进行卷积操作的数据的 channels 一致(这里就是图片样本,为3)。卷积操作,卷积核中的27个数字与分别与样本对应相乘后,再进行求和,得到第一个结果。依次进行,最终得到 4×4 的结果。步骤完成后,由于只有一个卷积核,所以最终得到的结果为 4×4×1 , out_channels
为 1。所以out.channel就是卷积核的数量,一般都会使用不止一个卷积核(我的理解是分别投影到不同的空间,可以防止单核的过拟合,下面讲feature map的作用会分析)。
图一
图二
总结一下,把上面提到的 channels 分为三种:
- 最初输入的图片样本的 channels ,取决于图片类型,比如RGB;
- 卷积操作完成后输出的 out_channels ,取决于卷积核的数量。此时的 out_channels 也会作为下一次卷积时的卷积核的 in_channels;
- 卷积核中的 in_channels ,刚刚2中已经说了,就是上一次卷积的 out_channels ,如果是第一次做卷积,就是1中样本图片的 channels 。
- 最后,对于输入样本,一般的RGB图片,
channels
数量是 3 (红、绿、蓝);而monochrome图片,channels
数量是 1 。
2. filter, feature map以及如何实现权值共享
CNN之所以适合进行图像处理原因之一是它解决了传统NN的指数爆炸权重的计算问题,解决方式就是在同一个featur e马屁中可以权重共享。所谓的feature map,就是同一个卷积核和input卷积的结果。如图二只有一个卷积核,最后卷积的4*4matrix就是一个feature map, feature map的每个点都是一个神经元的输出。所以 神经元个数 = 特征图大小。
CNN权值共享就是同一个Feature Map中神经元权值共享,该Feature Map中的所有神经元使用同一个权值。这与全连接相比,参数减少太多了(整个图像的矩阵大小到卷积核的矩阵大小)
featur