多尺度特征融合

多尺度特征融合

应用：人体姿态估计领域，对于人体关键点检测。

对比一般的目标检测backbone,比如Vgg网络的特点是多层次的提取特征，称为feature map。CNN卷积神经网络的层数的加深的过程，是特征提取从低层次到高层的语义特征的提取过程。比如对于人脸特征的提取，网络的低层提取的特征只是一些轮廓特征，随着网络的深入提取的特征可能是眼睛，鼻子等更高的语义特征，到最后网络到达最深的层是可能就提取到了整张人脸轮廓的特征了。这样网络的最后一层就可以接入一个分类器进行检测识别。

但是随着网络的加深，每一层都会丢失一些信息，到最后一层就会丢掉比较多的信息。

为了解决这个问题，有了特征融合的解决方案。基本思想是认为在该层网络进行卷积操作之前，将上一层的特征图加上该层的特征图，这样就可以保留上一层的一些信息，减少该层信息的丢失。

应用：多尺度特征融合:

目标检测领域提高小目标的检测精度：图片的一些小目标在进行特征提取时，图片分辨率会越来越小，到最后小目标的特征信息可能就会丢失，从而对小目标的检测精度就不好。FPN

人体姿态估计领域：提高关键点检测的精度：对于关键点检测中是检测人体的不同部分，并不是人体各个部分的特征都集中在最后一层特征图上，不同部分的特征可能会分布到不同尺度的特征图上，如果只是通过最后一层的特征图来进行关键点检测，会导致比较差的结果。Hourglass Network