1.一般情况下,AI深度学习的任务会有要求分类的,对象检测的,关键点检测的,但这些任务都需要网络既有提取细节信息的能力,又具有大感受野的能力。
2.比如FashionAI的服饰属性分类,既需要网络能提取细节信息(领口,袖口等),也就是要求feature map的分辨率高,又需要网络具有大的感受野,能看到全局(比如长裤等),但是一般通过堆叠卷积操作,让感受野增大后,feature map的分辨率又会降低,细节信息又不够,怎样可是实现这两者的平衡呢,目前的经典的方法就是FPN,对不同级别的信息进行融合。
3.同样关键点检测需要局部纹理信息也就是细节信息去检测可见点,而不可见点就需要全局信息去推断出,可以对FPN进行进一步的改进融合,从而提取到既包含细节信息又有大感受野信息的feature map。因此可以对该改进的feature map进行监督训练得到关键点heatmap,同时可以把该feature map当成attention层(先加后乘,直接乘,直接加等等),两个用处。
4.对象检测有大物体,也有小物体,因此同样需要局部信息和全局信息。
5.目前可探索的除了FPN之外,还有就是利用空洞卷积加padding的方法,既可以保持feature map的分辨率,还能扩大感受野,当然空洞卷积会丢失一些细节信息。
6.对于attention,目前的理解有bbox的方法,heatmap的方法,意思就是聚焦
开了一个技术交流的公众号,里面记录一些在学习有关深度学习,推荐系统与机器学习过程中的笔记与心得,欢迎关注~