MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合（最终篇）

目录

前言

几个相关概念

特征：

局部不变特征：

尺度

语义信息

图像尺度空间理论

多尺度

特征融合

Unet与FPN的差异

算法原理

算法思想

多尺度输入网络

多尺度特征融合网络

多尺度的特征预测融合

多尺度特征和预测融合

金字塔池化算法SPP、ASPP

SPP结构

ASPP结构

目标检测中的多尺度特征

1. 图像金字塔（image pyramid）

2. 特征金字塔（feature pyramid）

目标检测中的多尺度特征结合方式

解构物体检测各个阶段

FPN的演进

算法拓展

多视角数据融合的特征平衡YOLOv3行人检测研究

1 基于多视角数据的行人检测研究

2 多视角数据融合的特征平衡

3 实验结果与分析

应用案例

基于多尺度神经网络和特征融合的单目深度估计

引言

数据集

数据增强

网络结构

多尺度融合

实现细节

结果

结论

语义分割中多尺度特征的配准问题

1.问题阐述

1.AlignSeg: Feature-Aligned Segmentation Networks 

 2.Semantic Flow for Fast and Accurate Scene Parsing

---

前言

在目标检测和分割的任务中，我们都喜欢用多尺度 特征融合操作来提高准确率。以语义分割为例，大家在看到U-Net 以后想到的第一个自认为的创新就是加上 ASPP 结构。加上一个特征金字塔结构。然后做实验发现整个效果还是不错的。其实这个特征金字塔的结构就是一个多尺度特征融合的例子。在这里也可以证明了多尺度特征融合在深度学习中的好处。那为什么多尺度融合有效果呢。

        我们知道现在的检测和分割网络基本都喜欢用卷积神经网络通过逐层抽象的方式来提取目标的特征，我们可以知道高层网络的感受野比较大，语义信息表征能力强，但是特征图的分辨率低，几何信息的表征能力弱（空间几何特征细节缺乏）；低层网络的感受野比较小，几何细节信息表征能力强，虽然分辨率高，但是语义信息表征能力弱。高层的语义信息能够帮助我们准确的检测或分割出目标。因此我们在深度学习中把这些特征全部加在一起对于检测和分割都很有效果。

上图就是一个典型的多尺度融合网络结构。下采样倍数