毕业设计-2

🚀 毕业设计-day2

⭐️ yolov9 + 思路1（数据增强） 测试结果

本次优化失败 ! 请勿参考

1. yolov9-c 数据增强，训练100轮，验证集进行测试

1. 将图片中满足“小目标”定义的正样本（ 图片占比小于3%的样本 ），利用图像处理库（如OpenCV），将其复制并粘贴在图像中的任意位置。
2. 粘贴之后，添加样本标签，即对于每个小目标进行标注。
3. 并且重复这样的操作，从而达到一定的样本数量。
4. 再次训练，对比效果。

• 具体针对小目标数据增强的实现代码，毕设结束后可公开；普通的数据增强可见官方yolov9 源代码：
  

• 运行代码：python val.py --data data/data.yaml --img 640 --batch 2 --conf 0.001 --iou 0.7 --device 0 --weights './runs/exp2/weights/best.pt' --save-json --name yolov9_my_text_640_val

• 不建议路径存在中文的情况，运行中：
  

2. 结果分析

• DELL 电脑 2G 显存要爆炸

• 结果如下：

Class	Images	Instances	P	R	mAP50	mAP50-95
优化前	1323	5669	0.744	0.708	0.747	0.437
残废后	1323	5669	0.688	0.569	0.612	0.320

---

• 本次失败原因总结：
  1. 没有合理的数据增强，需要调参：
     • 每个小目标复制多少份？
     • 考虑全局随机，还是局部附近随机粘贴？
     • 针对 11 类特定问题，某些类别是否不必增强（路障，路灯等小目标），某些类别需要额外增强（汽车，用于检测拥堵），我们是否应该侧重于汽车类别的小目标？
     • 等等
  2. 随机性太强，被复制后小目标位于不合理的位置，小目标受背景干扰太强。
  3. 复制粘贴时，透明度是否需要调整？
  4. 是否需要将大目标缩小比例，进一步增强小目标检测？
  5. 测试集不是针对小目标的，而是通用场景？

---

3. 实习知识 + 其他想法

其他优化思路：

• 与思维导图结合，直观分析当前的交通情况 mind-map
• 与RAG结合，对视频结果结合 LLM 进行分析
• 与GPT-2模型结合，对当前视频关键帧进行目标预测
• 后端服务fastapi，flask 和 docker ; 内网穿透 ngrok 和 cpolar ，快速部署与服务器接口，进行远端数据传输与对接，实现远端服务器+近端嵌入式cpu+摄像头，快速低成本应用到交通场景。
• gpt_academic-master 学术优化，扩展思路
• autogen 多角色扮演，通过对话agent调用不同的函数，自动优化模型参数以及自动调试，从不同角度看问题
• 文本转SQL，分析数据库，可以直接搜索的交通视频情况数据统计与分析