MixNet论文探讨了不同卷积核尺寸对模型性能的影响，并提出混合深度卷积（MDConv），在单个卷积层中结合多种尺寸的卷积核。通过将MDConv纳入自动机器学习的搜索空间，构建了MixNets。MDConv将通道分成多组，每组使用不同尺寸的卷积核来捕获不同尺度的图像模式。实验表明，适当选择组大小、每组的卷积核尺寸和通道分配策略可以有效提升模型表现。
abstract
MixNet这篇文章系统研究了不同尺寸的卷积核对于最终结果的影响，提出了一个混合深度卷积(MDConv)，在一个卷积中混合了多个卷积核尺寸。然后把MDConv集成到AutoML的搜索空间，构建了MixNets。
不同卷积核尺寸对模型的影响如下：
MDConv architecture
因为不同大小的卷积核捕捉的模式不同，特征不同，所以把通道分成多组，每组通道使用不同尺寸的卷积核(这些都是在一个卷积内)，由此可以获取输入图像的不同尺度的模式。
MDConv Feature Map
X ( h , w , c ) X^{(h,w,c)} X(h,w,c)表示输入张量， W ( k , k , c , m ) W^{(k,k,c,m)} W(k,k,c,m)表示深度卷积核，c是通道数，m是通道乘子。输出张量为 Y ( h , w , c × m ) Y^{(h,w,c \times m)} Y(h,w,c×m)，大小依然为 h × w h \times w h×w 但是通道数变成了 m × c m \times c m×c
所以每个feature map的值计算如下：
(1) Y x , y , z = ∑ − k 2 ≤ i ≤ k 2 , − k 2 ≤ j ≤ k 2 X x + i , y + j , z / m ⋅ W i , j , z , ∀ z = 1 , … , m ⋅ c Y_{x, y, z}=\sum_{-\frac{k}{2} \leq i \leq \frac{k}{2},-\frac{k}{2} \leq j \leq \frac{k}{2}} X_{x+i, y+j, z / m} \cdot W_{i, j, z}, \quad \forall z=1, \ldots, m \cdot c \tag{1} Yx,y,z=−2k≤i≤2
最低0.47元/天 解锁文章
扫一扫
3490
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
