https://blog.csdn.net/wqwqqwqw1231/article/details/90667046添加链接描述
https://blog.csdn.net/weixin_43384257/article/details/100986249
添加链接描述
Loss构建
首先理解一下网络的输出。以y1为例,y1的输出为1313255,表示整张图被分为1313个格子,每个格子预测3个框,每个框的预测信息包括:80个类别+1个框的置信度+2个框的位置偏差+2个框的size偏差。输出可以理解为是1313*(3*(80+1+2+2))。
网格一共是S∗S个,每个网格产生B个候选框anchor box,每个候选框会经过网络最终得到相应的bounding box。最终会得到S∗S∗B个bounding box,那么哪些bounding box会用来计算误差更新权重?又是如何计算误差?需要仔细了解公式。
首先先看对真值的操作过程。因为真值是框的位置和大小,而要参与计算Loss的真值是框的类别cls,框的真实位置偏移值txy和尺寸偏移值twh。给出target,每一行是一个box的信息:属于batch中的第几张图片(image),类别,位置的尺寸。然后针对不同分辨率的feature map进行处理,以分辨率最小feature map为例:
1、选取box(n个)长宽的真值wh_gt
2、通过与anchor比较,计算IoU,抛去IoU小于一定阈值的框(说明这些框不适用该尺寸的feature map进行预测),留下IoU大于阈值的框(m个)。
以下操作均对留下的框(m个)进行操作(虚线代表的“选取”过程,选取留下的框)
3、提取框位置的真值,并与取整之后的值比较,这个取整后的值对应着feature map中的位置,计算位置偏差的真值(txy)。
4、提取框尺寸的真值,并与对应的anchor的尺寸比较,计算尺寸偏差的真值(twh)
5、记录框的类别真值(cls)
6、记录留下的框对应anchor的id和对应图片的id, 位置取整后的值,这个取整后的值代表着是用13*13中的哪个格子进行预测。(indicies)
得到要回归的真值之后,与神经网络的输出构建Loss。ouput包含着网络的输出,对应上图1中的y1,y2和y3。图中output[0]对应y1,是经过reshape过后的。output[1]和output[2]做同样处理。下面以output[0]为例,实线箭头代表经过某种操作,过程如下:
1、按照ouput的大小构建tconf,表示框的真实置信度
2、按照真值的indices将对应的某张图片中的某张格子的某个anchor的置信度置1。因为框要由这个图片的这个格子的这个anchor预测,所以这个图片中的这个格子的这个预测的置信度的真值应该为1。
3、将ouput中的值与真值比较构建位置的loss(lxy),尺寸的loss(lwh),类别的loss(lcls),置信度的loss(lconf)。
4、然后加权得到总的Loss