Cornernet_Lite( CornerNet ) 源码理解 - 损失函数计算实现分析

论文源码：https://github.com/princeton-vl/CornerNet-Lite
`

论文中，用于匹配角点的损失函数如下（embedding的损失）：

在embedding损失函数的算法实现中，除了需要输入预测出的嵌入图，还需要给出真实值角点位置的索引，以及用于滤除无关计算的二进制掩膜。该掩膜在每个通道上使用一维的向量表示，其前N个值为1，其余为0，N为该通道下图像中存在的真实目标数。

角码将输出嵌入图在每个通道下转化为一维数据，再根据真实值位置的索引，调换元素位置，使得一维嵌入图上那些原本位于真实角点位置上的元素被移动到前面，且在两条一维嵌入向量同一位置的元素属于同一目标。这个重排列过程如下图所示：

·

如上图所示，将得到的两个一维嵌入值向量合并再除以2，取二进制掩膜下的主值区间，就得到了同一通道下每个目标两个嵌入值得均值，通过遍历掩膜主值区间的元素，进而对所有同属一个目标的一对角点使用"pull"Loss计算损失。

当对不同目标的嵌入计算"push"Loss时，受到表格法排列组合的启发，一维的嵌入向量在不同方向上被扩展升至二维方阵，再经相减得到嵌入组合矩阵，便可得到那些真实角点嵌入值所有排列组合的差值结果。沿袭上图示意，嵌入组合操作如下图所示：

·

对于二进制掩膜也进行同样的操作，对其在两个方向上升维扩展，通过叠加运算得到的二维掩膜下图所示：

·

此时在掩膜矩阵主值区间，遍历嵌入组合矩阵上的元素，就能够得到所有角角点两两组合的差值。由于在计算"push"Loss时，只需计算那些不同目标之间的角点的损失，相比刨除掉主对角线上的元素，代码应用了一种更加灵活方法进行损失求解，如下：

·

offset损失的实现和embedding损失同理。

至于heatmap的损失，这很简单直接搬公式看代码就行。