yolov8+2024sota_reid+行人重识别+车辆重识别【代码说明】

代码地址

基于visual transformer的车辆重识别(vehicle reid)系统
2024最强SoTA行人重识别(ReID)项目实战

要理解我的行人重识别(ReID)相关代码的解释,需要具备以下基础能力:

  1. Python基础能力:
  • 熟悉Python语法、数据结构、函数和面向对象编程。
  • 能够使用Python进行数据处理和简单的算法实现。
  1. 深度学习的基础知识:
  • 理解深度学习的基本概念和原理,如神经网络、反向传播、激活函数等。
  • 熟悉深度学习模型的训练和推理过程,包括数据准备、模型定义、训练循环和评估。
  1. 模型构建的三大要素:
  • Dataloader:负责数据加载和预处理,确保数据能够以合适的形式输入到模型中。
  • Network:定义神经网络的结构,包括各层的设置、前向传播过程等。
  • Loss:定义损失函数,用于衡量模型的预测结果与真实标签之间的差距,并指导模型的参数更新。

如果你正在选择reid这个课题。

我的建议这个课题目前能够继续做的东西不多(能发顶会的东西),大约只有大模型这条路了。目前工业界该方向相对前三年也少了很多人。所以,如果你不得不选择该课题,最好延续大模型这条路做下去。这样你对大模型的知识了解会对后续发展有用。

代码结构总纲领:

  1. 分为Algorithm和GUI两个文件。Algorithm中的子文件每个都是单独功能的,充分解藕了的。比如,reid就包含detect/extract/search等子文件。GUI则是前端展示的交互和调度逻辑,也被充分解藕,比如,需要修改注册页面的交互在UiPageRegister.py中。
  2. Algorithm 和 GUI之间也是充分解藕的。什么意思呢?Algorithm下面有个outer_api.py是整个算法所有的对外接口,GUI只能调动outer_api里的结构。如果你只想看算法流程不看GUI的话,只需要看看outer_api就行。

功能解释:

1. 注册界面

在这里插入图片描述

选择图片路径->确认按键->车辆检测-> 目标选择->输入注册标签->确认注册->调用reid提特征->注册的sql中(包括图像/特征/ID)
涉及代码: UiPageRegister.py

2. 管理数据界面

在这里插入图片描述

选择list行->调取sql->展示信息,支持修改ID和删除某个注册车辆
涉及代码: UiPageManager.py

3. 处理界面

在这里插入图片描述

  • 选择图像或者视频某个文件: 只处理选择的文件
  • 选择文件夹:文件夹下的所有图像或者视频都会被处理
  • 三角播放按键:开始去处理选择的文件媒体,再点击就是暂停
  • 四角重置按键: 点击重置流程
  • 右上角工具按键: device[GPU只支持N卡需要直接配置好驱动和环境], sampleFt[处理视频时抽帧],Match Thresh[匹配时的阈值,两个特征之间的距离小于该阈值时为命中]
    Note: 处理视频时, 并开启跟踪时, sampleFt最好设置为1, 因为track跟踪算法会参考位移变化, 抽帧多时,目标位移很大, 会跟踪不上。

自己简单DIY:

1. 前端界面换皮肤

第一种是直接修改GUI.ui下home.py中

self.Main_QF.setStyleSheet(u"QFrame#Main_QF{\n"
"background-color: rgb(129, 129, 129);\n"
"border:0px solid red;\n"
"border-radius:0px\n"
"}")

2. 前端界面模块组件修改

使用QT designer打开GUI.ui.home.ui,使用designer去修改,再 pyside6-uic home.ui > home.py
组件修改完,再修改对应的UiPagexxx.py中的交互流程。

3. 算法想上自己的模型

比如自己的Reid模型(建议把如pth等checkpoint这种模型转换成onnx或者tensorrt, 推理和训练是不一样的,训练时模型会保留梯度等信息且速度不如onnx这种推理架构)
修改reid_extract.py下的class ReIdExtract(object)就行,输入图像输出归一化的特征。
并且在Algorithm.libs.configs.model_cfgs配置文件把模型路径修改一下。

### YOLOv5与DeepSORT结合的目标跟踪 #### 项目概述 YOLOv5 和 DeepSORT 的组合提供了一种强大的解决方案用于实时多目标跟踪。YOLOv5 负责检测图像中的对象,而 DeepSORT 则利用这些检测结果并加入时间维度的信息来进行稳定可靠的轨迹预测。 #### 安装依赖库 为了运行此项目,需安装必要的Python包: ```bash pip install torch torchvision opencv-python-headless numpy scipy filterpy lap ``` #### 数据预处理 在开始之前要准备好输入数据源(如视频文件),并对每一帧执行如下操作: - 将其转换成适合YOLOv5 输入的形式; - 对每一张图片调用 `detect()` 方法获取边界框坐标以及置信度分数; #### 初始化模型实例化 创建YOLOv5探测器和DeepSORT追踪器两个类的对象: ```python from models.experimental import attempt_load from utils.general import non_max_suppression, scale_coords from deep_sort.utils.parser import get_config from deep_sort.deep_sort import DeepSort # 加载 yolov5 模型权重路径 weights_path = 'path/to/yolov5/weight' device = select_device('') model = attempt_load(weights_path, map_location=device) deepsort_cfg = get_config() deepsort_cfg.merge_from_file("deep_sort/configs/deep_sort.yaml") deepsort = DeepSort(deepsort_cfg.DEEPSORT.REID_CKPT, max_dist=deepsort_cfg.DEEPSORT.MAX_DIST, min_confidence=deepsort_cfg.DEEPSORT.MIN_CONFIDENCE, nms_max_overlap=deepsort_cfg.DEEPSORT.NMS_MAX_OVERLAP, max_iou_distance=deepsort_cfg.DEEPSORT.MAX_IOU_DISTANCE, max_age=deepsort_cfg.DEEPSORT.MAX_AGE, n_init=deepsort_cfg.DEEPSORT.N_INIT, nn_budget=deepsort_cfg.DEEPSORT.NN_BUDGET, use_cuda=True) ``` #### 主循环逻辑 对于每一个新到来的画面帧,依次完成以下工作流: 1. **目标检测** - 应用 YOLOv5 进行物体类别判定及位置估计。 2. **特征提取** - 提取每个候选区域内的视觉表征向量作为后续关联依据。 3. **状态更新** - 借助卡尔曼滤波器预测下一时刻可能出现的位置分布情况。 - 计算当前观测到的测量值同已有轨迹间的相似程度得分矩阵。 - 执行匹配过程决定哪些新的观察对应于已知个体还是未知实体。 4. **输出结果** - 绘制带有唯一编号标签的矩形边框标注被锁定住的目标物。 具体实现代码片段如下所示: ```python import cv2 from pathlib import Path def detect_and_track(video_source='input.mp4', output_dir='./output'): cap = cv2.VideoCapture(video_source) out_video_writer = None while True: ret, frame = cap.read() if not ret or frame is None: break imgsz = check_img_size(640, s=model.stride) # 图像尺寸调整至网络要求大小 im0 = letterbox(frame)[0] # Convert im = im0[:, :, ::-1].transpose(2, 0, 1) # BGR to RGB, to 3x416x416 im = np.ascontiguousarray(im) im = torch.from_numpy(im).to(device) im = im.half() if half else im.float() # uint8 to fp16/32 im /= 255.0 # 归一化像素强度范围 [0., 1.] if len(im.shape) == 3: im = im[None] # expand for batch dim pred = model(im, augment=False)[0] det = non_max_suppression(pred, conf_thres=0.4, iou_thres=0.5)[0] bbox_xywh = [] confidences = [] if det is not None and len(det): det[:, :4] = scale_coords(imgsz, det[:, :4], frame.shape).round() for *xyxy, conf, cls in reversed(det): xywh = (torch.tensor(xyxy).view(-1)).tolist() bbox_xywh.append([*(xywh[:2]), *(xywh[2:] - xywh[:2])]) confidences.append(conf.item()) outputs = deepsort.update(torch.Tensor(bbox_xywh), confidences, frame) for j, (output, conf) in enumerate(zip(outputs, confidences)): bboxes = list(map(int, output)) id_num = int(output[-1]) label = f'{id_num}' plot_one_box(bboxes[:-1], frame, label=label, color=(0, 255, 0)) if out_video_writer is None: fourcc = cv2.VideoWriter_fourcc(*'mp4v') fps = cap.get(cv2.CAP_PROP_FPS) size = (frame.shape[1], frame.shape[0]) video_name = Path(video_source).stem + '_tracked.avi' out_video_writer = cv2.VideoWriter(str(Path(output_dir)/video_name), fourcc=fourcc, fps=fps, frameSize=size) out_video_writer.write(frame) cap.release() if out_video_writer is not None: out_video_writer.release() if __name__ == "__main__": detect_and_track() ```
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

热血小蚂蚁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值