一、问题描述
根据给定的城管视频监控数据集,借助计算机视觉和图像处理技术对城市违规行为(包括垃圾桶满溢、机动车违停、非机动车违停等)进行检测和分类,以达到自动识别违规行为的目的。
需要从视频中分析并标记出违规行为,提供违规行为发生的时间和位置信息。
二、数据集
数据集包括城管视频监控数据与对应违规行为的标注。违规行为包括垃圾桶满溢、机动车违停、非机动车违停等。
视频数据为mp4格式,标注文件为json格式,每个视频对应一个json文件。
json文件的内容是每帧检测到的违规行为,包括以下字段:
- frame_id:违规行为出现的帧编号
- event_id:违规行为ID
- category:违规行为类别
- bbox:检测到的违规行为矩形框的坐标,[xmin,ymin,xmax,ymax]形式
另外关于违法标准:
-
机动车违停
机动车在设有禁止停车标志、标线的路段停车,或在非机动车道、人行横道、施工地段等禁止停车的地方停车。具体包含以下:- 无论有无禁停标志,机动车道禁止车辆停放;
- 距路口、桥梁50米以内禁止车辆停放;
- 距公交车站、消防栓、消防队、医院30米以内禁止使用上述设施以外的车辆停放;
- 禁止车辆双排停放、靠左侧停放、横向停放、逆向停放;
- 人行道仅允许在已设置的停车泊位内停车,禁止在停车泊位外停车;
- 在设有禁停标志、标线的路段,人行横道、施工路段,不得停车。
-
非机动车违停
非机动车(如自行车、电动车等)未按照规定停放在指定的非机动车停车泊位或停车线内,而是在非机动车禁停区域或未划定的区域(消防通道、盲道、非机动车停车区线外、机动车停车区等)随意停放。 -
垃圾满溢
生活垃圾收集容器内垃圾超过三分之二以上即为满溢。垃圾桶无法封闭、脏污且周边有纸屑、污渍、塑料、生活垃圾及杂物堆放。 -
占道经营
经营者占用城市道路、桥梁、城市广场等公共场所进行盈利性买卖商品或服务的行为。
三、问题分析
这是一个典型的视频目标检测问题。当前应用在视频目标检测的深度学习模型主要有:
-
YOLO(You Only Look Once)系列
YOLO模型系列以其高速和实时检测能力而闻名。尽管最初是为图像目标检测设计的,但最新的YOLOv4和YOLOv5已经能够应用于视频目标检测。它们通过单一网络完成目标检测,不需要区域提议阶段,因此速度极快,非常适合实时应用。 -
SSD(Single Shot MultiBox Detector)
SSD模型也是一种单阶段检测器,具有较高的速度和较好的精度。SSD通过在不同尺度上生成锚框,能够检测多种尺寸的目标。改进版本如MobileNet-SSD通过使用轻量级的MobileNet网络作为基础,进一步提高了效率,非常适合在移动设备上进行视频目标检测。 -
Faster R-CNN
Faster R-CNN是一种两阶段的目标检测模型,首先生成候选区域,然后再进行目标分类和边界框回归。尽管其速度不如YOLO和SSD,但它在精度上表现优异。对于视频目标检测,Faster R-CNN可以通过结合光流等时序信息进行优化,提高检测效果。 -
Mask R-CNN
Mask R-CNN是Faster R-CNN的扩展版,除了检测目标之外,还能进行目标的像素级分割。它对于视频中的复杂场景尤其有效,通过在视频序列中跟踪每个像素的变化,能够实现更精确的目标检测和分割。 -
DETR(Detection Transformer)
DETR是一种基于Transformer架构的目标检测模型,它通过将自注意力机制引入目标检测领域,实现了无需锚框的检测过程。DETR在图像目标检测中表现出色,近年来也被应用于视频目标检测任务,通过引入时序信息来处理视频数据。 -
Siamese Networks
Siamese网络,尤其是SiamRPN系列,在视频目标检测和跟踪中得到了广泛应用。这种网络通过比较视频帧中目标的特征,能够有效地跟踪目标的位置变化。SiamRPN++ 是当前最先进的版本,它结合了区域建议网络(RPN)和Siamese网络的优势,具备高效的目标跟踪能力。 -
CenterTrack
CenterTrack是一种专为视频目标检测和跟踪设计的模型,它在每个视频帧中预测目标的中心点,并使用光流信息进行目标跟踪。CenterTrack实现了高效的多目标检测和跟踪,尤其适合处理快速运动的目标。 -
MOTR (Multi-Object Tracking with Transformers)
MOTR结合了Transformer架构和目标检测技术,能够处理视频中的多目标检测和跟踪任务。它通过自注意力机制学习目标间的关联关系,提供了强大的检测和跟踪能力,适用于复杂场景中的多目标处理。
这些模型在视频目标检测中各有优势,具体选择取决于应用场景的需求,如实时性、检测精度、目标类型等。该赛题的应用场景需要实时处理大量视频流,YOLO的单阶段检测架构能够在每帧图像上快速完成目标检测。它跳过了区域建议阶段,直接进行检测,大大提高了推理速度。因此,相较于其他模型,YOLO是此次应用中较优选择模型。
四、模型训练
from ultralytics import YOLO
# 读取训练集视频
for anno_path, video_path in zip(train_annos[:5], train_videos[:5]):
print(video_path)
anno_df = pd.read_json(anno_path)
cap = cv2.VideoCapture(video_path)
frame_idx = 0
# 读取视频所有画面
while True:
ret, frame = cap.read()
if not ret:
break
img_height, img_width = frame.shape[:2]
# 将画面写为图
frame_anno = anno_df[anno_df['frame_id'] == frame_idx]
cv2.imwrite('./yolo-dataset/train/' + anno_path.split('/')[-1][:-5] + '_' + str(frame_idx) + '.jpg', frame)
# 如果存在标注
if len(frame_anno) != 0:
with open('./yolo-dataset/train/' + anno_path.split('/')[-1][:-5] + '_' + str(frame_idx) + '.txt', 'w') as up:
for category, bbox in zip(frame_anno['category'].values, frame_anno['bbox'].values):
category_idx = category_labels.index(category)
# 计算yolo标注格式
x_min, y_min, x_max, y_max = bbox
x_center = (x_min + x_max) / 2 / img_width
y_center = (y_min + y_max) / 2 / img_height
width = (x_max - x_min) / img_width
height = (y_max - y_min) / img_height
if x_center > 1:
print(bbox)
up.write(f'{category_idx} {x_center} {y_center} {width} {height}\n')
frame_idx += 1
# 设置模型版本
model = YOLO("yolov8n.pt")
# 设定数据集和训练参数
results = model.train(data="yolo-dataset/yolo.yaml", epochs=2, imgsz=1080, batch=16)