一、背景介绍
MobileNet_v1看起来已经不错了,但有人在实际使用的时候, 发现depthwise layer
的卷积核在训练之后不少参数为0,这很可能是因为ReLU导致神经元死亡。另外,MobileNet_v1没有引入shortcut
,无法复用特征。
二、思路提出
2.1 Linear Bottlenecks
假设将许多张图片作为网络的输入,经过第i
层输出并激活之后得到一个 h i × w i × d i h_i \times w_i \times d_i hi×wi×di的张量,如果把这个张量看作是 h i × w i h_i \times w_i hi×wi个具有 d i d_i