CenterNet算法笔记

  名为CenterNet的算法有两个，本文梳理的是论文《Objects as Points》，而不是《CenterNet:Keypoint Triplets for Object Detection》，望周知。由于本人目前的工作主要集中在目标检测方面，因此这里只对CenterNet算法的2D检测部分进行梳理，并简单介绍下3D检测，并不会涉及关键点检测部分。

1.核心思想

  现有的检测算法都需要对大量的候选位置进行分类，并且还需要后处理（主要是NMS），比如二阶段的Faster RCNN、一阶段的YOLOv3、anchor-free的FCOS、CornerNet等算法，都是如此。
  CenterNet将目标建模为目标的中心点，将目标检测问题转化为关键点检测问题（这一点与CornerNet一样，只不过CornerNet是检测gt box的左上和右下点，而CenterNet是检测gt box的中心点）。将图像输入网络，生成keypoints heatmap，heatmap上的峰值点（peaks，特征图上值>=8邻域内其它点的中心点，称为peak）对应的就是目标的中心点。检测到目标中心点后，利用每个peak点的特征回归目标框的其它属性，比如2D box的宽和高，3D box 的长宽高、深度、角度等。
  CenterNet是anchor-free的，正样本的分配极其简单，一个目标只唯一对应heatmap上的一个peak，是无需NMS的。

2.网络结构

2.1Backbone网络

  CenterNet把目标检测问题转化为关键点检测问题，因此使用的也都是关键点检测网络的backbone，这一点和CornerNet一样。CenterNet的backbone网络下采样倍数（stride）都是4，并且整体网络结构都是先下采样获得很大的stride，然后上采样回到stride=4，主要使用了三种backbone网络，如下：

（1）up-conv ResNet
  ResNet网络的变种，使用了可变形卷积改变通道数，并且使用了转置卷积进行上采样。
（2）hourglass（沙漏）
  和CornerNet使用的backbone一样，有非常复杂的skip connections，整体网络呈现对称特性。
（3）DLA（deep layer aggregation）
  使用的是修改后的DLA-34。

2.2neck网络

  CenterNet不使用任何FPN、PAN等结构，没有neck网络。

2.3head网络

  Backbone网络的输出特征送入一个3x3卷积（256通道）、ReLu、一个1x1卷积得到最终的输出，输出的通道数与具体任务有关。

2.3.12D检测

  主要包括keypoints heatmap、local offset、object size三部分的检测，通道数分别为C、2、2。

2.3.1.1 keypoints heatmap

  C指的是类别个数，即keypoint heatmap的通道数是C，对COCO数据集来讲是80。每个通道的peaks表示该类目标出现的位置，peaks的值也是该目标的置信度。
（1）正负样本分配
  计算每个gt box的中心点落在heatmap上的位置点，则该点即为正样本，回归标签为1，其它位置点为负样本，回归标签根据高斯分布来获得，高斯标准差根据目标的尺寸确定。如果一个负样本点处于多个高斯分布重叠区域，取较大的值作为回归标签。
（2）损失函数
  对于损失函数用logistic regression + focal loss。单位：中心点坐标关于特征图上尺寸的归一化。

2.3.1.2 local offset

  local offset预测特征图有2个通道分别表示中心点x、y方向的offset，因为backbone网络的stride=4，因此会有位置的偏移，这个offset预测就是用来修正目标中心点位置的。
（1）正负样本分配
 只计算正样本，没有负样本。
（2）损失函数
 L1 loss。单位：关于特征图上尺寸的归一化。

2.3.1.3 object size

 object size，即宽和高，预测特征图具有2个通道。
（1）正负样本分配
 只计算正样本，没有负样本。
（2）损失函数
  L1 loss，并且作者进行了实验，发现对object size的回归来讲，L1 loss比Smooth L1 更好。单位：使用的是原始像素为单位，不进行标准化。

2.3.2 3D检测

 不需要2D box的宽和高的预测，需要中心点预测，还需要另外三个预测：深度、3D box、角度。深度占一个通道，3D box占3个通道，对角度回归进行编码，占8个通道。

3.推理流程

这里只介绍2D检测的流程。
（1）前向传播：图像输入网络，获得输出特征图，包括三个部分，keypoints heatmap、local offset、object size。
（2）峰值检测：每个类别的heatmap单独进行peak处理。>=8邻域内其它点的中心点都算作peak，所有类别的所有peaks都提取出来，然后保留前100个。（注意，这里没有明说，但是我猜后续应该还会设置一个置信度阈值，对这100个检测结果进行过滤，具体有没有需要看代码）
（3）bbox解码：根据峰值的位置，进行offset调整，并获得object size。没有复杂的box解码过程，进一步提高了后处理速度。

总结：后处理过程没有NMS，也没有复杂的box解码过程，整体流程非常简洁。

4.我对CenterNet的几个问题

4.1 为什么CenterNet不需要NMS？

4.1.1 原论文的解释

 先简单回顾一下Faster RCNN的正负样本分配。对于一个gt box，Faster RCNN需要计算其和所有anchors的IOU，**并取IOU大于0.7的所有anchor都作为正样本，来预测这个gt box，**这就导致在测试时，可能有多个pred box（预测框）对应的都是一个gt box，因此需要NMS去掉这些冗余的。
 而对CenterNet来讲，原论文的说法是，每个目标只产生一个正样本点peak点，不像Faster RCNN那样一个gt box分给多个anchor去预测，没有冗余，因此CenterNet不需要NMS。

4.1.2 对原论文解释的疑惑

 我对这种解释有些怀疑，我们先回顾一下YOLOv3的正负样本分配，对一个gt box，YOLOv3计算其和所有anchor的IOU，然后只把最大IOU的anchor作为正样本预测这个gt box，即YOLOv3也是一个gt box只分配给一个anchor、只产生一个正样本，和CenterNet一样，但YOLOv3是需要NMS的，为什么呢？
 我猜测可能的原因是YOLOv3引入了忽略样本的原因，正样本邻域网格可能与gt box也有很高的IOU，但是邻域网格属于忽略样本，训练过程中不用于计算置信度损失，也就是说，训练过程并不会对邻域的置信度预测进行抑制，只是忽略而已，因此在测试时，邻域网格也可能输出了和gt box很高IOU的pred box，并且置信度分数也很高，和正样本网格非常接近，单纯靠置信度阈值处理无法去掉这些冗余的pred box，所以需要用NMS。
 但是CenterNet在分配正样本时，目标中心点对应的heatmap上的点对应的回归标签就是1，而邻域根据高斯分布对回归值进行抑制，获得较小的回归值，没有重叠的问题，此只要选择peak作为目标就好，不需要NMS。不知道我的理解对不对？欢迎大家讨论。
 但是如果这么考虑的话，只要把YOLOv3的忽略样本全部改成负样本，并且负样本的置信度标签比正样本对应的标签小，那么YOLOv3不也可以是NMS-free的吗？其实YOLOv5以及这么做了，yolov5的置信度标签是gt box和anchor的IOU值（也可能是CIOU？我没有核实），正样本就比负样本的置信度标签大，只不过YOLOv5的一个gt box对应多个正样本，仍然需要NMS。

4.1.3 CenterNet的heatmap和YOLOv3的置信度特征图有什么区别？

 其实仔细一想，CenterNet是选择特征图（heatmap）的峰值peak作为目标中心点，无需NMS，而YOLOv3是先对置信度特征图进行阈值处理（取的不是唯一的极大值peak），然后把获得的pred box进行NMS处理，这样考虑的话，CenterNet的置信度特征图和YOLOv3的heatmap没有特别本质的区别，都是为了获取高质量的候选样本，只不过CenterNet把候选样本直接作为检测结果（因为正样本分配和回归尽量避免了冗余的情况），而YOLOv3对候选样本进行了NMS。不知道我的理解对不对？

4.2 推理时获取peaks后是否需要阈值处理？

  论文中没有明说，这个需要看代码才能知道，或者哪位好心大佬告知一下？

4.3 CenterNet是否易于硬件部署？

  我本人没有做过深度学习算法硬件落地方面的工作，但是我知道算法落地不仅考虑计算量的问题，还会考虑内存等方面的占用，所以对CenterNet这种使用hourglass、DLA等具有很多跳路连接的网络，以及可变形卷积、转置卷积等各种奇怪的运算等（硬件加速是否支持这些运算？），其内存占用相比YOLOv3要显著增加？也许后面做到算法落地的时候再考虑吧。