CenterNet原理详解

论文：https://arxiv.org/abs/1904.07850

目录

1. CenterNet网络结构

2. heatmap(热力图)理解和生成

2.1 heatmap生成

2.2 heatmap高斯函数半径的确定

3. 数据增强

4. loss函数理解

heatmap loss

中心点偏移值损失

长宽预测损失值

5.前向及输出

---

1. CenterNet网络结构

　　除了检测任务外，CenterNet还可以用于肢体识别或者3D目标检测等，因此CenterNet论文中提出了三种backbone的网络结构，分别是Resnet-18， DLA-34和Hourglass-104, 三种backbone准确度和速度如下：

1. Resnet-18 with up-convolutional layers : 28.1% coco and 142 FPS
2. DLA-34 : 37.4% COCOAP and 52 FPS
3. Hourglass-104 : 45.1% COCOAP and 1.4 FPS

　　实际工作中我主要用CenterNet进行目标检测，常用Resnet50作为backbone，这里主要介绍resnet50_center_net，其网络结构如下：

        可以发现CenterNet网络比较简单，主要包括resnet50提取图片特征，然后是反卷积模块Deconv(三个反卷积)对特征图进行上采样，最后三个分支卷积网络用来预测heatmap, 目标的宽高和目标的中心点坐标。值得注意的是反卷积模块，其包括三个反卷积组，每个组都包括一个3*3的卷积和一个反卷积，每次反卷积都会将特征图尺寸放大一倍，有很多代码中会将反卷积前的3x3的卷积替换为DCNv2(Deformable ConvetNets V2)来提高模型拟合能力。

　　关于DCN(Deformable ConvetNets)参见：目标检测论文阅读：Deformable Convolutional Networks - 知乎， 目标检测论文阅读：DCN v2 - 知乎

CenterNet的模型计算流程如下：

• 图片缩放到512x512尺寸(长边缩放到512，短边补0)，随后将缩放后1x3x512x512的图片输入网络

• 图片经过resnet50提取特征得到feature1尺寸为1x2048x16x16

• feature1经过反卷积模块Deconv，三次上采样得到feature2尺寸为1x64x128x128

• 将feature2分别送入三个分支进行预测，预测heatmap尺寸为1x80x128x128(表示80个类别)，预测长宽尺寸为1x2x128x128(2表示长和宽)，预测中心点偏移量尺寸为1x2x128x128(2表示x, y) 

• 测试的过程中，由于只需要从热图中提取目标，这样就不需要使用NMS，降低了计算量

关于另外两种backbone参见：

• DLA-34网络即Deep Layer Aggregation, 其理解参见：CenterNet的骨干网络之DLASeg - 云+社区 - 腾讯云
• Hourglass网络主要用于人体姿态估计，其理解参见：论文笔记Stacked Hourglass Networks - 知乎

2. heatmap(热力图)理解和生成

2.1 heatmap生成

　　CenterNet将目标当成一个点来检测，即用目标box的中心点来表示这个目标，预测目标的中心点偏移量(offset)，宽高(size)来得到物体实际box，而heatmap则是表示分类信息。每一个类别都有一张heatmap