abstract
MixNet这篇文章系统研究了不同尺寸的卷积核对于最终结果的影响,提出了一个混合深度卷积(MDConv),在一个卷积中混合了多个卷积核尺寸。然后把MDConv集成到AutoML的搜索空间,构建了MixNets。
不同卷积核尺寸对模型的影响如下:
MDConv architecture
因为不同大小的卷积核捕捉的模式不同,特征不同,所以把通道分成多组,每组通道使用不同尺寸的卷积核(这些都是在一个卷积内),由此可以获取输入图像的不同尺度的模式。
MDConv Feature Map
X ( h , w , c ) X^{(h,w,c)} X(h,w,c)表示输入张量, W ( k , k , c , m ) W^{(k,k,c,m)} W(k,k,c,m)表示深度卷积核,c是通道数,m是通道乘子。输出张量为 Y ( h , w , c × m ) Y^{(h,w,c \times m)} Y(h,w,c×m),大小依然为 h × w h \times w h×w 但是通道数变成了 m × c m \times c m×c
所以每个feature map的值计算如下:
(1) Y x , y , z = ∑ − k 2 ≤ i ≤ k 2 , − k 2 ≤ j ≤ k 2 X x + i , y + j , z / m ⋅ W i , j , z , ∀ z = 1 , … , m ⋅ c Y_{x, y, z}=\sum_{-\frac{k}{2} \leq i \leq \frac{k}{2},-\frac{k}{2} \leq j \leq \frac{k}{2}} X_{x+i, y+j, z / m} \cdot W_{i, j, z}, \quad \forall z=1, \ldots, m \cdot c \tag{1} Yx,y,z=−2k≤i≤2