这里先注意一下FLOPs的写法,不要弄混了: FLOPS(全大写):是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度,是一个衡量硬件性能的指标。 FLOPs(s小写):,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量,可以用来衡量算法/模型的复杂度,也就是我们这里要讨论的。
怎么理解上面的公式呢?分析同理,括号内是一个输出神经元的计算量,拓展到O个输出神经元。(如果该全连接层的输入是卷积层的输出,需要先将输出展开成一列向量):,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量,可以用来。其实卷积层在实现的时候可以选择加bias或者不加,在很多的框架当中是一个可以选择的参数,为了严谨,这里特地提一下。深度可分离卷积分成两部分,一部分是分通道卷积,另一部分是1*1卷积。ReLU一般都是跟在卷积层的后面,这里假设卷积层的输出为。