OpenMMLab AI 实战营2023（笔记）：3、通用视觉框架OpenMMLab目标检测与MMDetection

一、引言

1、什么是目标检测

2、目标检测 in 人脸识别

3、目标检测 in 智慧城市

3、目标检测 in 自动驾驶

4、目标检测 in 下游视觉任务

5、目标检测 vs 图像分类

6、滑窗 Sliding Window

7、滑窗的效率问题

改进思路 1：区域提议

改进思路 2：分析滑窗中的重复计算

消除滑窗中的重复计算

在特征图上进行密集预测

8、目标检测的基本范式

9、目标检测技术的演进

二、基础知识

1、框，边界框（Bounding Box）

2、框相关的概念

3、交并比 Intersection Over Union

4、置信度 Confidence Score

5、非极大值抑制 Non-Maximum Suppression

6、边界框回归 Bounding Box Regression

7、边界框编码 Bbox Coding

三、两阶段目标检测算法 Two-stage Detectors

1、两阶段算法概述

2、Region-based CNN (2013)

R-CNN 的训练

R-CNN 相比于传统方法的提升

R-CNN 的问题

3、Fast R-CNN (2014)

RoI Pooling

RoI Align

Fast R-CNN 的训练

Fast R-CNN 的速度提升

Fast R-CNN 的精度提升

Fast R-CNN 的速度瓶颈

降低区域提议的计算成本

朴素方法的局限

锚框 Anchor

4、Faster R-CNN (2015)

Faster R-CNN 的训练

5、两阶段方法的发展与演进 (2013~2017)

四、多尺度检测技术

1、多尺度检测必要性

2、图像金字塔 Image Pyramid

3、层次化特征

4、特征金字塔网络 Feature Pyramid Network (2016)

5、在 Faster R-CNN 模型中使用 FPN

五、单阶段目标检测算法 One-Stage Detectors

1、回顾两阶段算法

2、单阶段算法

单阶段检测算法概述

3、YOLO: You Only Look Once (2015)

YOLO 的分类和回归目标

YOLO 的损失函数

YOLO 的优点和缺点

4、SSD: Single Shot MultiBox Detector (2016)

SSD 的损失函数

正负样本不均衡问题

解决样本不均衡问题

困难负样本 Hard Negative

不同负样本对损失函数的贡献

降低简单负样本的损失

Focal Loss

5、RetinaNet (2017)

RetinaNet 的性能

6、YOLO v3 (2018)

六、无锚框目标检测算法 Anchor-free Detectors

1、锚框 vs 无锚框

2、FCOS, Fully Convolutional One-Stage (2019)

FCOS 的多尺度匹配

FCOS 的预测目标

中心度 Center-ness

FCOS 的损失函数

3、CenterNet (2019)

CenterNet 的主要流程

七、Detection Transformers

1、DETR (2020)

2、Deformable DETR (2021)

八、目标检测模型的评估方法 Evaluation

1、检测结果的正确/错误类型

2、准确率 Precision 与 召回率 Recall

3、准确率与召回率的平衡

4、PR 曲线 与 AP 值

5、完整数据集上的例子

6、PR 曲线的起伏

7、Mean AP

九、总结

十一、MMDetection

1、目标检测工具包 MMDetection

2、MMDetection 环境搭建

3、OpenMMLab 项目中的重要概念——配置文件

 4、MMDetection 代码库结构

https://github.com/open-mmlab/mmdetection

5、配置文件的运作方式

6、两阶段检测器的构成

7、单阶段检测器的构成

8、RetinaNet 模型配置 – 主干网络

9、RetinaNet 模型配置 – 颈部

 

10、RetinaNet 模型配置 – bbox head 1

11、RetinaNet 模型配置 – bbox head 2

12、COCO 数据集介绍

13、COCO 数据集格式

14、BBOX 标注格式

15、标注、类别、图像 id 的对应关系

 16、在 MMDetection 中配置 COCO 数据集

 17、MMDetection 中的自定义数据集格式

 

18、在 MMDetection 中配置自定义数据集

19、数据处理流水线

 

20、MMDetection 中的常用训练策略

21、训练自己的检测模型