深度学习：记录学习过程中思考的一些小问题

1.卷积神经网络中，通常有跨层的feature map融合，有时候会出现feature map的大小不同或者channel数不同，这时将不能进行特征融合，应如何解决这些问题？

1）feature map大小不同，通常是因为在卷积神经网络中加入了池化层（pool），池化层的作用是降维，减轻计算量，同时能保留一些重要的信息，比较常用的是max pooling。然而经过pooling层的feature map将会变小，这导致了后面的层与前面的层不能进行信息融合。通常的做法是：将较小的层通过上采样，或者双线性采样等方法，都调整成要融合的最大的feature map的大小，然后再进行融合。当然，也可以将大的都调整成小的，但是这样精度损失很多。

2）channel数不同，也不能进行融合。

卷积神经网络中，每次经过一个卷积层，得到的feature map的channel数都是由卷积核(filter）个数决定的，采用多少个卷积核就产生多少个通道，因此，每个层得到的feature map的channel数可能都是不同的。

一个解决方法是不采用相加的方法，而是将所有要融合的项都concat在一起，但是这样会使通道数变的很大，所以可以采用1*1卷积减少通道数（减少计算量），当然，也可以采用其他降维或减少计算量的方法~~~

另外一个方法就是将所有层的channel数变成同样大小，通常的做法就是用1*1卷积进行升维或降维。

这两个问题都处理完，就可以愉快地进行不同层之间的特征融合啦~

2.为什么要进行特征融合？

深度网络中，浅层的特征能表示颜色、轮廓等信息，而深层则能够提取到更多的语义信息，但有时候只关注语义信息会丢失很多细节方面的东西。比如在目标跟踪的问题中，如果只采用最深层的特征，有可能视频中所有具有语义信息的位置都可能被误认为是目标，但如果能加上颜色、轮廓等信息，就能更好的识别目标啦~总之就是考虑的信息越多，特征提取地越好，描述力越强，模型效果可能就越好。

同时，不仅网络结构中不同层信息能进行融合，不同时间维度以及不同channel的信息也可以进行融合。

未完待续....