深度学习之目标检测（十一）--DETR详解

)

)

L

match

⁡

(

y

i

,

y

^

σ

(

i

)

)

=

−

1

{

c

i

≠

∅

}

p

^

σ

(

i

)

(

c

i

)

1

{

c

i

≠

∅

}

L

box

(

b

i

,

b

^

σ

(

i

)

)

\hat{\sigma}=\underset{\sigma \in \mathfrak{S}_{N}}{\arg \min } \sum_{i}^{N} \mathcal{L}_{\operatorname{match}}\left(y_{i}, \hat{y}_{\sigma(i)}\right) \ \mathcal{L}_{\operatorname{match}}\left(y_{i}, \hat{y}_{\sigma(i)}\right) = -\mathbb{1}_{\left{c_{i} \neq \varnothing\right}} \hat{p}_{\sigma(i)}\left(c_{i}\right)+\mathbb{1}_{\left{c_{i} \neq \varnothing\right}} \mathcal{L}_{\text {box }}\left(b_{i}, \hat{b}_{\sigma(i)}\right)

σ^{=σ∈SN​argmin​i∑N​Lmatch​(yi​,y}​σ(i)​)Lmatch​(yi​,y^{​σ(i)​)=−1{ci​​=∅}​p}​σ(i)​(ci​)+1{ci​​=∅}​Lbox ​(bi​,b^σ(i)​)
我们来看看 ground truth

y

i

y_i

yi​ 和预测出来的第

δ

(

i

)

\delta(i)

δ(i) 个结果之间的匹配损失。首先是对于那些不是背景的，获得其对应的预测是目标类别的概率，然后用框损失减去预测类别概率。这也就是说不仅框要近，类别也要基本一致，是最好的。经过匈牙利算法之后，我们就得到了 ground truth 和预测目标框之间的一一对应关系。然后就可以计算损失函数了。

损失函数和匹配损失不同之处在于，损失函数需要是正值，所以使用了 log-probability。对于

c

i

=

ϕ

c_i = \phi

ci​=ϕ 的类别损失，将分类损失除了 10，降低其作用，因为正负样本不均衡。这种思想和 Faster R-CNN 等一致。目标边界框回归损失则是 IOU 损失和 L1 损失的加权和，其中 IOU 损失对于 Scale 不敏感，L1 损失对于 Scale 敏感。事实上 DETR 用的是 GIoU 损失。

L

Hungarian

(

y

,

y

^

)

=

∑

i

=

1

N

[

−

log

⁡

p

^

σ

^

(

i

)

(

c

i

)

1

{

c

i

≠

∅

}

L

box

(

b

i

,

b

^

σ

^

(

i

)

)

]

L

box

(

b

i

,

b

^

σ

^

(

i

)

)

=

λ

iou

L

iou

(

b

i

,

b

^

σ

(

i

)

)

λ

L1

∥

b

i

−

b

^

σ

(

i

)

∥

1

\mathcal{L}_{\text {Hungarian }}(y, \hat{y})=\sum_{i=1}^{N}\left[-\log \hat{p}_{\hat{\sigma}(i)}\left(c_{i}\right)+\mathbb{1}_{\left{c_{i} \neq \varnothing\right}} \mathcal{L}_{\text {box }}\left(b_{i}, \hat{b}_{\hat{\sigma}}(i)\right)\right] \ \mathcal{L}_{\text {box }}\left(b_{i}, \hat{b}_{\hat{\sigma}}(i)\right) = \lambda_{\text {iou }} \mathcal{L}_{\text {iou }}\left(b_{i}, \hat{b}_{\sigma(i)}\right)+\lambda_{\text {L1 }}\left|b_{i}-\hat{b}_{\sigma(i)}\right|_{1}

LHungarian ​(y,y^{​)=i=1∑N​[−logp}​σ^(i)​(ci​)+1{ci​​=∅}​Lbox ​(bi​,b^σ​(i))]Lbox ​(bi​,b^σ​(i))=λiou ​Liou ​(bi​,b^σ(i)​)+λL1 ​∥∥∥​bi​−b^σ(i)​∥∥∥​1​

依然延续论文实验部分不做过多详解，主要学习核心思想的观点，故实验部分就不做过多赘述，大家可以详见论文的描述。

4. 代码

代码见 Facebook 官方实现最好不过了，代码链接点击 此处。强烈推荐搭建看看“搞笑”博主手把手代码运行教学。

5. 总结

之前还有幸接触外国博主的一种理解，说 Transformer 的 Self-Attention 对于目标检测友好的观点，个人觉得非常好。他说：Backbone 输出的特征图经过

1

×

1

1 \times 1

1×1 卷积后进行降维，得到的是

d

×

H

×

W

d \times H \times W

d×H×W，被 reshape 成

d

×

H

W

d \times HW

d×HW 作为 Transformer Block 的输入。在 Encoder 阶段，会计算

H

W

×

H

W

HW \times HW

HW×HW 的 Attention Matrix，那么其实 Attention Matrix 上每一个值，其实就是考虑了 Backbone 输出的特征图空间上的两个点，因为 token 数量和特征图空间像素个数一样，那么这两个点，其实就已经构建出来了一个 box（左上角和右下角）。从这个角度来看，神经网络在基于 Attention Matrix 进行思考时，其实也可以从某种意义上就是在对一个个 bounding box 进行思考，这对于目标检测任务似乎是非常利好的。

DETR 对大物体更好是因为在 Backbone 最后输出特征图上进行 Self-Attention。怎么结合多尺度信息例如 FPN 等提升小物体性能呢？怎么使得大小物体之间相互作用相互关联呢？DETR 直接预测多个目标框不需要 NMS，如果多个目标框在测试时出现重叠怎么办呢？

如今 Set Prediction 方式也逐渐成为目标检测的一种主流范式。当然 DETR 算法本身存在各种各样的问题，基于 DETR 模型的各种改进版纷纷出现，包括最近新出来的 Anchor + DETR 等等，留待之后继续学习。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Linux运维工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）

最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

资料预览

给大家整理的视频资料：

给大家整理的电子书资料：

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

]
[外链图片转存中…(img-KlYCOQBk-1712911980802)]
[外链图片转存中…(img-AYTk27Pk-1712911980802)]
[外链图片转存中…(img-i3xaK5I8-1712911980802)]
[外链图片转存中…(img-DGBJeEDQ-1712911980803)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）
[外链图片转存中…(img-LIOZTbcc-1712911980803)]

最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

资料预览

给大家整理的视频资料：

[外链图片转存中…(img-iWSDs8aM-1712911980803)]

给大家整理的电子书资料：

[外链图片转存中…(img-fSw8RkCd-1712911980803)]

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-JTS8JAZq-1712911980804)]