https://www.bilibili.com/video/BV15w411Z7LG?p=3&vd_source=eba877d881f216d635d2dfec9dc10379
实例分割so难
只有目标检测和实例分割做到实例上的处理
目标检测两个流派：
单阶段模型：yolo 不提取候选框，直接把全图给的模型算法里 直接输出结果；快 准确率 小目标鸟群人群密集目标不够好，但是现在都好起来了！！
两阶段模型：先从图像中提取若干候选框，在逐一甄别 ；比较准确 但是慢
端到端 完整的统一的框架
7*7*30的张量包含了所有预测框的坐标置信度类别结果。 所以解析这个张量就可以获得目标检测的结果了
模型训练完了 对未知图片 进行预测测试 test
左图是划分gridcell 取7 就变成了 7*7个格格
中间上 是每个gridcell 预测b个bounding box B=2 就每个小格格我们给他锚框bounding box两个 ，box具有xyhwc 坐标 中心点坐标和框的宽高 C是置信度 细线低
49*2=98个bounding box 就是图啦
每个boundingbox还能生产类别的概率 假设包含物体的情况下 是某个类别的概率 是下面彩色图
C*P就是每个boundingbox对应类别的概率
结合boundingbox的信息和gridcell的 类别信息 就可以获得最后的预测结果
都是从7*7*30的张量获取的 或者说s*s*（5*b+c）的张量中获取的
b： 2 c：20
解释张量：
30？ 包含两个预测框 每个框有五个参数 俩个有十个 然后Pascavoc有二十个类别 10+20=30
30维的向量就是一个gridcell的信息
总共是7*7个gridcell 所以是7*7*30维的张量
第一个紫色的就是第一个boundingbox Cxyhw 后面二十维 两十个类别的条件概率，假设包含物体情况下猫的概率 鸟的概率。。。。 C*P才是真正的这个框是某个类别的概率
也可以看做yolo模型
输入是448*448*3的图像 输出是1470个数字
都能预测出7*7*2个框 有些置信度低就不管了 高保留
每个gridcell还能生产20个类别的条件概率 这个图展条件概率高的那些类别的所占有的框
紫色的都是bicycle 条件概率高的区域 绿色就都是狗条件概率高的区域
每个gridcell只能有一个类别 从二十个条件概率中选最高的那个 所以每个gridcell只能预测一个物体
那我们这个7*7个gridcell最多最多也就能预测49个物体 ---------------------yolo小目标 密集目标性能差的原因。
每个gridcell只有一个条件概率高的代表类别
吧这个grid中两个boundingbox赋予这个类别 进行一系列后处理就有最后的结果
颜色代表不同的类别 粗细C 形成中间结果 共有98个boundingbox 每个都有C和最高P对应类别
然后做低的过滤 非极大值抑制去重复的预测框 获得最终目标检测结果
完整的预测过程就是以上！！！！！！！！！！！！！！！！！！！！！！
P5
处理7*7*2=98个预测框 低的过滤 重复去掉保留一个
研究： 最后那个7*7*30张量是如何 变成最后目标检测的结果的？？？？
取出其中的一个gridcell来看~~ 包含应该是30个数字 分别是5 5 20
5：第一个和第二个 boundingbox四个位置坐标和C置信度
20：该gridcell对应20个类别的条件概率分别都是多少 这个是小猫的概率是？小狗的是？。。。
该bb包含物体的概率 * 包含物体的条件下各个类别的概率=====真正是哪个类别的概率
（全概率）
第二个也是得到20个类别的全概率
每个gridcell都能获得两个20维的全概率 分别表示两个预测框
可视化就是之前那个乱图
假设狗是第一个类别 横着看哈
- 设置阈值小于0.2的一律变成0
- 然后按照高低排序 0就是一堆在后面啦
- 在排序之后进行NMS非极大值抑制
NMS?????
假设有几个竖条 狗的概率不是0 从高到低排序的
吧最高的拿出来 之后把每个都跟最高的比较！！如下！！！
先看第一高的
iou 相似度！！！ 如果很小 那绿框和橙框稍微有些重复就不要绿色啦 永远再见啦
如果很大 贼贼贼重合 才不会要绿色啦
如果要加强nms可以吧阈值设置低一点
低 强
蓝色的iou没有超过0.5 （就是看看和橙框重合有没有图片的一半就行啦）
都没有变成0哦
一直到最后一名和第一名橙色比对！！！！！！！！！！！
再看第二高的
吧所有比0.2低都 都来比较
最后得到橙和蓝两个结果啦 其他都是零
这只是对修勾这样
对其他的类别都要这般操作 就获得了最终的结果 下面是最后一行对人的 20个类别进行20次的nms
最后 结果是系数矩阵 有很多00
如果不为0的话安把他拎出来 吧类别和分拎出来作为结果'
bb3 bb4有些类别不为零
吧类别索引找出来 代表猫还是狗啊 吧概率找出来 可视化
可视化 获得最终结果
训练阶段不需要！！！！！！！nms！！！！！！！！！！！！！！只有预测！！！！！！！！！
目标检测 监督学习问题 ：人工会标注 groundtruth
就是绿框 他的中心点落在哪个gridcell 就应该由他预测出的bb 负责拟合绿框 两个bb中的一个拟合
gc输出类别应该也是gt的类别--------------------c*p=全概率 狗的应该是最大的 他就是gc的代表类别（每个gc只能预测一个类别）
如果没有gt的中心点落在的 gc 这个gc很可怜 他弄出来的两个框都不要啦 让他们的置信度越小越好 为0最好！
回归问题：不是分类噢
1 带小帽子的是标注 不带的都是预测值
2 wh也尽量一样 加根号是使得小框对误差更敏感 （同样的偏差 小框造成的loss更大 大框更小 对大框更加公平）
大框误差肯定大一点 ，红的idol犯错 批评的人多，不红的人犯错 批评的人少
所以加个根号 让大框公平一点点 ，更加强调小框的作用 让大家也看看不红的人犯错也重要！！！
讲论文里
12同属于 坐标回归误差 确实都研究的是坐标 一个是中心 一个是宽高坐标
敏感在数据中是将就的意思 小框不将就所以误差大 加根号让他将就将就
https://blog.csdn.net/qq_42859149/article/details/118419995
3 标签值计算就是绿色字 他预测出的置信度Ci应该是和iou越接近越好啦 iou就是相似度嘛 和相似度接近就很好
4 打入冷宫的置信度最好都为0 所以标签值是0 一类是小框 一类是不负责预测物体gridc ell的框
34都是研究C置信度 置信度有大有小对吧
一个是负责大的 --------负责检测物体
一个是负责小的 --------不负责检测物体
5 对每个类别遍历求和 吧标准的gt的类别越接近1越好
误差完事了都 该研究类别了！！他到底是啥啊 概率求和
如果一个bb负责检测物体 那么他所属的gc一定也负责
如果一个bb负责 另一个不负责
那个J 小J ：bb共有B个 不是8个！！！！！！！！！！
密集会落下 小绿框！！！！！！
目标检测评估性能指标
标签就是人工打的噢 已知
那个公式只在训练阶段 测试不用了哈
1 x 1 reduction layers 1.*1还原层 1x1卷积层
This means our network reasons globally about the full image and all the objects in the image
这意味着我们的网络对整个图像和图像中的所有对象进行全局推理。 分析
This can lead to model instability, causing training to diverge early on.
这可能导致模型不稳定，导致训练在早期发散。
To remedy this,
为了解决这个问题，
Sum-squared error
平方和误差
Our error metric should reflect that
我们的误差指标应该反映
Throughout training we use a batch size of 64, a momentum of 0.9 and a decay of 0.0005.
在整个训练过程中，我们使用64个批量，动量为0.9，权重衰减为0.0005。
To avoid overfitting we use dropout and extensive data augmentation.
为了避免过度拟合，我们使用了退出和广泛的数据扩充。
For data augmentation we introduce random scaling and translations of up to 20% of the original image size.
对于数据增强，我们引入了高达原始图像大小20%的随机缩放和平移。
We also randomly adjust the exposure and saturation of the image by up to a factor of 1.5 in the HSV color space.
我们还可以在HSV颜色空间中随机调整图像的曝光和饱和度，最多调整1.5倍。
our loss function treats errors the same in small bounding boxes versus large bounding boxes.
我们的损失函数在小包围盒和大包围盒中处理相同的错误。
contextual reasoning
上下文分析
Real-Time Detection In The Wild
野外实时检测
Abstract
We present YOLO, a new approach to object detection.
Prior work on object detection repurposes classifiers to perform detection. Instead, we frame object detection as a regression problem to spatially separated bounding boxes and associated class probabilities. A single neural network predicts bounding boxes and class probabilities directly from full images in one evaluation. Since the whole detection pipeline is a single network, it can be optimized end-to-end directly on detection performance.
Our unified architecture is extremely fast. Our base YOLO model processes images in real-time at 45 frames per second. A smaller version of the network, Fast YOLO, processes an astounding 155 frames per second while still achieving double the mAP of other real-time detectors. Compared to state-of-the-art detection systems, YOLO makes more localization errors but is less likely to predict false positives on background. Finally, YOLO learns very general representations of objects. It outperforms other detection methods, including DPM and R-CNN, when generalizing from natural images to other domains like artwork.
摘要
我们提出了YOLO，一种新的目标检测方法。
之前的目标检测工作重新调整了分类器的用途，以执行检测。相反，我们将对象检测作为一个回归问题，回归到空间分离的边界框和相关的类概率。单个神经网络在一次评估中直接从完整图像预测边界框和类概率。由于整个检测管道是单个网络，因此可以直接对检测性能进行端到端优化。
我们的统一架构速度非常快。我们的基本YOLO模型以每秒45帧的速度实时处理图像。该网络的较小版本Fast YOLO每秒处理155帧，速度惊人，同时仍然是其他实时检测器的两倍。与最先进的检测系统相比，YOLO会产生更多的定位错误，但不太可能预测背景中的误报。最后，约洛学习了物体的一般表示。当从自然图像推广到艺术品等其他领域时，它优于其他检测方法，包括DPM和R-CNN。
6. Conclusion
We introduce YOLO, a unified model for object detection. Our model is simple to construct and can be trained directly on full images. Unlike classifier-based approaches, YOLO is trained on a loss function that directly corresponds to detection performance and the entire model is trained jointly.
Fast YOLO is the fastest general-purpose object detector in the literature and YOLO pushes the state-of-the-art in real-time object detection. YOLO also generalizes well to new domains making it ideal for applications that rely on fast, robust object detection.
6、结论
我们介绍了YOLO，一种用于目标检测的统一模型。我们的模型构造简单，可以直接在完整图像上进行训练。与基于分类器的方法不同，YOLO是在与检测性能直接对应的损失函数上训练的，整个模型是联合训练的。
Fast YOLO是文献中最快的通用目标检测器，YOLO推动了实时目标检测的最新技术。YOLO还可以很好地推广到新的领域，使其成为依赖快速、鲁棒对象检测的应用程序的理想选择。
扫一扫
9450
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
