ConerNet角点网络中的角点分类损失的理解

  最近重新例会汇报CenterNet网络时候忘了CorerNet网络那个损失函数了，因此被老师说看论文没看透，于是重新回来认真读一遍。它是由交叉熵损失进阶到Focal Loss然后再到这个损失函数的，我们当做啥都不懂从头温习吧。

1.交叉熵损失

$$L_i=-[y^{i}log{\hat{y}}^i+(1-y^i)log(1-{\hat{y}}^i)]$$
  在二分类问题中，真实样本为[0,1],表示负类和正类。一般会通 过一个Sigmoid函数，输出一个概率值，反映了为正类的可能性。
  输出表征当前样本标签为1的概率：
$$y^i=P(y=1|x)$$
  输出样本标签为0的概率：
$$1-y^i=P(y=0|x)$$
极大似然的角度整合$$P(y|x)={\hat{y}}^y\cdot (1-\hat{y}{)}^{1-y}$$
当真实样本为0，转化为$P(y=0|x)=1-\hat{y}$
当真实样本为1，转化为$P(y=1|x)=\hat{y}$
我们本质是希望P(y|x)越大越好，若y=0,$1-\hat{y}$越大，$\hat{y}$越小就越靠近0。若y=1，$\hat{y}$越大就越靠近1。
  对数函数不影响单调性,则变成了一开始给的公式。

2.Focal Loss

  目的是为了解决one_stage目标检测中正负样本比例严重失衡问题，该损失函数降低了大量简单样本在训练中占的权重。
  样本中会存来大量的easy nagetive example（对于负样本就是与0近的，对于正样本就是与1近的），它们会对loss起主要贡献作用，会主导梯度方向，这样网络就学不到什么有用信息，对object准确分类造成影响，淹没少量正样本影响

α——平衡交叉熵

  为交叉熵定一个权重，其中权重因子为相反类的比重（负样本越多α越大，1-α越小）。负样本越多，给它权重越小用来降低负样本影响。
$$L_{fl}=-\alpha log\left(P_t\right)=\{\begin{array}{c}-\alpha logy{}^{\prime }\\ -(1-\alpha )log(1-y{}^{\prime })\end{array}$$

$（1-y{）}^{\gamma }$简单与困难样本

$$L_{fl}=-\alpha log\left(P_t\right)=\{\begin{array}{c}-\alpha (1-y{}^{\prime }{)}^{\gamma }logy{}^{\prime }\\ -(1-\alpha )y{}^{\prime \gamma }log(1-y{}^{\prime })\end{array}$$
当y为正样本，y为简单样本则$（1-y{）}^{\gamma }$很小，对损失影响小；当ｙ为负样本，$y^{\gamma }$很小，对损失影响很小。简单样本的处理是为了让人关注易分错的样本。

３.CornerNet的损失函数

$$L_{det}=-\frac{1}{N}\sum _C^{c=1}\sum _H^{i=1}\sum _W^{j=1}\{\begin{array}{c}(1-P_{cij}{)}^{\alpha }log{P}_{cij}\\ (1-y_{cij}{)}^{\beta }{P}_{cij}^{\alpha }log(1-y{}^{\prime })\end{array}$$
  保留了Focal Loss中对简单样本损失减小；对于$y_{cij}=e^{{}^{-\frac{x^2+y^2}{2{\sigma }^2}}}$，离中心点越近，$y_{cij}$越接近１；离中心点越远，$y_{cij}$越远离１；则近的点$1-y_{cij}$小，远的点$1-y_{cij}$大。与中心越近的块与正样本更相似与GT拥有相对高的IoU，负样本训练则不需要过多关注这些区域，因此降低它的权重。