LeNet和AlexNet就不再赘述了
NIN
网络中的feature map之间包含一个MLP网络,故名之。
mlpconv
传统卷积之后加一个MLP非线性结构,为线性卷积增加了非线性。另外也减少了参数量,利于网络深化。跨通道下,mlpconv相当于conv+1*1conv,文章中叫做cccp:cascaded cross channel parametric pooling.论文中图示如下
传统3*3卷积,input通道数为C,卷积核数为D,参数量为3*3C*D,mlpconv中,3*3*D的参数量是一致的,到1*1卷积部分,参数为共享的,只有输出的参数不共享,为1*1*D的参数量,故mlpconv参数量为3*3*C+1*1*D.
全局平均池化
Fc把feature map 拉伸为向量之后进行分类的过程合二为一,基本上就是GAP了。Fc起到分类作用,把学习表达映射嵌入类别特征空间。先将feature map个数设为类别数,然后对每一个map像素取平均为一个值(平均池化),将100维结果向量送入softmax,其实向量最大元素就是对应类别,送入softmax为了取得loss,获得梯度。
Google系列的网络
InceptionV1
Inception block也是耳熟能详,属于混合模型同一层有1*1,3*3,5*5conv和pool,可以获得不同层次的特征,为了减少3*3和5*5conv的计算量,前面加入1*1卷积是为了降维,进行空间汇聚。这里解释一下,1*1卷积其实在一个通道上获得与输出同样大小的输出,但是跨通道的情况下,将不同通道输出相加,起到了降维作用。最后把不用size卷积结果depthconcat,不同size卷积padding之后输出结果除depth外size是一样的,和输入是一致的。
InceptionV2
用两个3*3conv代替5*5conv,实验表明不会降低表达能力而且两卷积层之间加入非线性,可以涨点。
InceptionV3
用n*1,1*n的conv分解n*n的conv。参数量减少。如原来参数量为5*5*c*d,如今变成2*3*3*c*d.
InceptionV4
Inception+ResNet.
ResNet
有空再写
DenseNet
有空再写