yolo3 loss计算
loss的构建
首先先看对真值的操作过程。因为真值是框的位置和大小,而要参与计算Loss的真值是框的类别cls,框的真实位置偏移值txy和尺寸偏移值twh。给出target,每一行是一个box的信息:属于batch中的第几张图片(image),类别,位置的尺寸。然后针对不同分辨率的feature map进行处理,以分辨率最小feature map为例:
1、选取box(n个)长宽的真值wh_gt
2、通过与anchor比较,计算IoU,抛去IoU小于一定阈值的框(说明这些框不适用该尺寸的feature map进行预测),留下IoU大于阈值的框(m个)。
以下操作均对留下的框(m个)进行操作(虚线代表的“选取”过程,选取留下的框)
3、提取框位置的真值,并与取整之后的值比较,这个取整后的值对应着feature map中的位置,计算位置偏差的真值(txy)。
4、提取框尺寸的真值,并与对应的anchor的尺寸比较,计算尺寸偏差的真值(twh)
5、记录框的类别真值(cls)
6、记录留下的框对应anchor的id和对应图片的id, 位置取整后的值,这个取整后的值代表着是用13*13中的哪个格子进行预测。(indicies)
得到要回归的真值之后,与神经网络的输出构建Loss。ouput包含着网络的输出,对应上图1中的y1,y2和y3。图中output[0]对应y1,是经过reshape过后的。output[1]和output[2]做同样处理。下面以output[0]为例,实线箭头代表经过某种操作,过程如下:
1、按照ouput的大小构建tconf,表示框的真实置信度
2、按照真值的indices将对应的某张图片中的某张格子的某个anchor的置信度置1。因为框要由这个图片的这个格子的这个anchor预测,所以这个图片中的这个格子的这个预测的置信度的真值应该为1。
3、将ouput中的值与真值比较构建位置的loss(lxy),尺寸的loss(lwh),类别的loss(lcls),置信度的loss(lconf)。
4、然后加权得到总的Loss