CNN 分割

测试的是Cifar10数据集，采用VGG模型的网络参数是[32, 'M', 64, 'M', 128, 128, 'M', 256, 256, 'M', 256, 256],准确度大概在90.6左右

1、将输入图片分割为左右两部分，分别进行卷积运算，最后全连接层再将两部分结合在一起，最后观察准确度。准确度大概在88.8左右。

开始时分析，这样只是中间的部分信息没有进行融合，后面再去思考的时候发现是  对于单个卷积核而言，左右是不同的，这样的话，提取的特征就会有所偏向。

2、将channel的数目减半分为两个，在最后的时候将两个网络cat在一起，准确度大概在88.5左右。应用上Knowledge distrilling的知识，能把准确度提高1%。

3、将channel数目减半，并且将图片分割为左右，上下，四个部分，最后在cat在一起。

准确度在88.0左右。

4、如果将图片分为左右两部分，进行卷积时使用相同的卷积核，最后再cat在一起，最后的准确度在85.7左右，明显要低于使用不同的卷积核。

5、如果将图片分为左右两部分，分别进行卷积运算，两部分是不同的卷积核，在最后两层卷积的时候将两部分cat在一起卷积，准确度在89.5左右。

6、将图片分为上下两个部分，分别进行卷积，两部分是不同的卷积核，但是会在每层卷积-BN-ReLU之后，交换分界处的信息。准确度在90.5左右。

7，将图片分为上下两个部分，进行卷积，两部分是相同的卷积核，相同的BN层参数，会在每层卷积-BN-ReLU之后，交换分界处的信息，准确度在90.6左右。 （这种方式和标准的VGG在计算上是相同的）

8、将图片分为上下两个部分，分别进行卷积，但是上下两部分使用相同的BN层参数，会在每层卷积-BN-ReLU之后，交换分界处信息，准确度在70.3左右。（准确度是最低的）

 

下面用以记录自己的部分分析：

所谓的权值共享，一个个3×3的卷积核，不仅仅是降低了计算量这么简单，还有一个重要的作用是提高了全局感受能力，也许并没有空洞卷积之类的，但是对于单个卷积核而言，重要的整张图所对应的卷积核是相同的。如果一张图中，一部分对应一个卷积核，那么所谓的全局感知能力就会下降。也许在卷积核的感知区域还有文章可做。

再次思考一下上面分割为上下两个部分，使用不同的卷积核，不同的BN层数，交换分界处信息的情况。仔细思考这个分界处的信息是否有足够的依据，毕竟是不同的卷积核提取的信息，如果将feature map看作是特征，那么就相当于将不同的上下特征局部信息进行融合。关键这种融合会改变原来的特征，产生新的特征，也许这新的特征是不正确的。也许需要上下这些特征去匹配交界处的相似性。

现在CNN中的卷积计算可以看作是当前计算机视觉中最为关键的部分了，这种对图像去提取很多的特征，构成一组特征图，再根据这些特征图在图与图之间进行融合相加产生新的特征，不断的重复这样的操作，同时使用maxpooling降低维度信息，最后完成了特征映射。

想一下MobileNet这种所谓的深度卷积核逐点卷积，深度卷积完成的是对于单个特征图的局部感知和全局感知，因为这个过程中使用的是3×3卷积核对于整个feature map进行卷积，逐点卷积完成的是单个特征图的全局感知和特征图组的信息融合。

之前自己做过将CNN的feature map在H和W两个维度做一些平移之类的，然后再进行正常的卷积操作，最后的准确度没有提高，当时想的是这样可以扩大局部感受野，相当于把卷积核扩大了，但是事实并不是这样的。如果把卷积核扩大，是对于单个特征图而言的，能够保证全局感知的，而在H和W两个维度做一些平移之类的，相当于在feature maps的不同H\W位置做了信息融合，这种位置不对应的信息融合破坏了特征信息。再来思考ResNet、Cat这种操作，为什么能够行得通，因为它们是对于整个feature map所做的特征维度的操作，并且还保证了特征位置的统一性。而BN层这种层是对于单个特征所做的变换，是为了让特征内部的数据具有更好的分布特性。

 

转载于:https://www.cnblogs.com/yanxingang/p/10757387.html