🐧大模型系列篇章
💖 多模态大模型 🔎 GroundingDINO 论文总结
💖 端到端目标检测 🔎 从DETR 到 GroundingDINO 🔥
💖 多模态大模型 👉 CLIP论文总结
💖 多模态大模型 👉 EVA-CLIP
💚 生成模型 👉 从 VAE 到 Diffusion Model (上)
💚 生成模型 👉 从 VAE 到 Diffusion Model (下)🔥
💧 天气大模型
🐧深度学习基础知识篇
💖 深度学习基础知识干货 🔎 Batch Normalization 批量归一化
💖 深度学习基础知识干货 🔎 卷积模型的Memory, Params, Flop是如何计算的?
💖 深度学习基础知识干货 🔎 Cross-Entropy Loss 多分类损失函数
💖 深度学习基础知识干货 🔎 Videos 动作检测
💖 深度学习基础知识干货 🔎 目标检测(Object Detection): mAP, NMS, FPN, 一阶段检测器
💖 深度学习基础知识干货 🔎 微调(fine-tuning)和泛化(generalization)
💖 深度学习基础知识干货 🔎 Group Convolution / Depthwise Convolution 轻量模型的必有的卷积
💖 深度学习基础知识干货 🔎 Gradient checkpointing
💖 深度学习基础知识干货 🔎 Softmax中温度(temperature)参数
💖 深度学习基础知识干货 🔎 什么是few-shot learning
欢迎订阅专栏,第一时间掌握最新科技 大模型系列篇章 专栏链接 深度学习基础知识 专栏链接 |
文章目录
1. NMS 非极大值抑制
目的
去除网络输出的重叠框。 注意,在后处理阶段使用NMS(Non-Max Suppression)哦!
步骤
- 先将所有的框按照类别进行区分
- 把每个类比的检测框,按照置信度从高到低排序
- 取当前置信度最高的框框,与下一个置信度最高的框框进行iou计算,如果 I o U > t h r e s h o l d ( e . g 0.7 ) IoU > threshold(e.g 0.7) IoU>threshold(e.g0.7),就判定这个检测同一个物体的框离的太近了,我们就删掉这个置信度低的框框。**如果是太远的框框,IoU的值会很小。说明他们检测的不是同一个物体。
- 接下来,我们取下一个最高的框(这个框检测的就是同类别另一个物体了),重复
step 3
的动作。重复上述步骤直到所有的框都被比完。
蓝色的框框,与所有的框框进行IoU, 删除那个置信度低的橘色框框, 这里IoU的作用就是用来判断两个框的远近。
我们重复上述步骤,消灭橙色框框。
- 在面对密集型检测任务的时候,NMS或许会消除掉好的框框。
2. mAP(Mean Average Precision)
- 用来衡量我们目标检测模型好坏的一种指标
- 步骤
- 模型跑一下所有测试的图片(with NMS)
- 对于每一个类别,计算平均精度AP = 精度(Precision)与召回(Recall) 的曲线的面积
-
- 对于该类别所有检测到的框框进行一个排序,按照置信度,从高到低。
-
- 如果该置信度的框框与 真实框框的 I o U > 0.5 IoU > 0.5 IoU>0.5, 把这个框框记录为正样本(positive), 然后删掉掉真实框框。
-
- 否则,标记其为负样本(negative)
-
- 在精度与召回的曲线上画一个点
-
3. Feature Pyramid Network 特征金字塔结构
4. 一阶段检测器Single-Stage Detectors
- 目标检测分两种实现的方向:基于anchor的,不基于anchor的
"Anchor-based"的模型代表 —— RetinaNet
请注意这里的Focal Loss
Anchor-free 的模型代表 —— FCOS
- 学习的是 类别, 中心点, 框框