Charley- Datawhale AI 夏令营 第五期 CV Task1 学习笔记

已于 2024-08-27 14:03:08 修改
阅读量770 收藏 17
点赞数 12
文章标签： 学习 笔记 yolo
于 2024-08-26 23:22:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kevin4502/article/details/141575546
版权

学习笔记

代码解读

库文件准备

首先需要下载一些需要的第三方库:

  1. opencv-python: 包含了cv2，用来处理图像和保存图片
  2. pandas: 是python中处理特定格式文件的第三方库
  3. matplotliib: 是python中绘制图表的第三方库
  4. ultralytics: 是包含了yolo模型的第三方库
!/opt/miniconda/bin/pip install opencv-python pandas matplotlib ultralytics

import os, sys
import cv2, glob, json
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

!apt install zip unzip -y
!apt install unar -y

!wget "https://comp-public-prod.obs.cn-east-3.myhuaweicloud.com/dataset/2024/%E8%AE%AD%E7%BB%83%E9%9B%86%28%E6%9C%89%E6%A0%87%E6%B3%A8%E7%AC%AC%E4%B8%80%E6%89%B9%29.zip?AccessKeyId=583AINLNMLDRFK7CC1YM&Expires=1739168844&Signature=9iONBSJORCS8UNr2m/VZnc7yYno%3D" -O 训练集\(有标注第一批\).zip
!unar -q 训练集\(有标注第一批\).zip

!wget "https://comp-public-prod.obs.cn-east-3.myhuaweicloud.com/dataset/2024/%E6%B5%8B%E8%AF%95%E9%9B%86.zip?AccessKeyId=583AINLNMLDRFK7CC1YM&Expires=1739168909&Signature=CRsB54VqOtrzIdUHC3ay0l2ZGNw%3D" -O 测试集.zip
!unar -q 测试集.zip

json文件的读取方法

json.load是第三方库json提供的一个读取json文件的方法，可以将json文件按照格式转化为python对象，此处为列表

train_anno[0]是json文件的第1个违法行为信息，可以看到该训练文件一共有1688个违法行为

train_anno = json.load(open('训练集(有标注第一批)/标注/45.json', encoding='utf-8'))
train_anno[0], len(train_anno)

# ({'frame_id': 0,
#  'event_id': 1,
#  'category': '非机动车违停',
#  'bbox': [746, 494, 988, 786]},
# 1688)

video文件的解析方法

通过cv2.VideoCapture方法可以获取一个视频的迭代器，对cap用read方法即可读取每一帧

通过frame.shape获得该视频的规模，分辨率为1080x1920，三通道

cv2.CAP_PROP_FRAME_COUNT是cv2的一个关键字，此处用cap.get(*)获取45.mp4的帧数，为422

接下来将该帧加上识别框并通过plt.imshow进行绘制

video_path = '训练集(有标注第一批)/视频/45.mp4'
cap = cv2.VideoCapture(video_path)
while True:
    # 读取下一帧
    ret, frame = cap.read()
    if not ret:
        break
    break    
    
	frame.shape
	# (1080, 1920, 3)
    
	int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
	# 422
    
    bbox = [746, 494, 988, 786]

    pt1 = (bbox[0], bbox[1])
    pt2 = (bbox[2], bbox[3])

    color = (0, 255, 0) 
    thickness = 2  # 线条粗细

    cv2.rectangle(frame, pt1, pt2, color, thickness)

    frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    plt.imshow(frame)

yolo模型的文件配置和数据集的准备

创建文件夹和配置yaml文件

yaml文件中保存了:

  1. path: 根目录
  2. tran: 训练数据集的相对路径，其中保存了训练集和标记
  3. val: 评估数据集的相对路径，其中保存了评估集和标记
  4. names: 索引，对应event_id
if not os.path.exists('yolo-dataset/'):
    os.mkdir('yolo-dataset/')
if not os.path.exists('yolo-dataset/train'):
    os.mkdir('yolo-dataset/train')
if not os.path.exists('yolo-dataset/val'):
    os.mkdir('yolo-dataset/val')

dir_path = os.path.abspath('./') + '/'

# 需要按照你的修改path
with open('yolo-dataset/yolo.yaml', 'w', encoding='utf-8') as up:
    up.write(f'''
path: {dir_path}/yolo-dataset/
train: train/
val: val/

names:
    0: 非机动车违停
    1: 机动车违停
    2: 垃圾桶满溢
    3: 违法经营
''')

将训练集文件名进行列表并排序

train_annos = glob.glob('训练集(有标注第一批)/标注/*.json')
train_videos = glob.glob('训练集(有标注第一批)/视频/*.mp4')
train_annos.sort(); train_videos.sort();

category_labels = ["非机动车违停", "机动车违停", "垃圾桶满溢", "违法经营"]

将训练集导入到yolo-dataset/train中

帧保存为’./yolo-dataset/train/*_idx.jpg‘

对应的违法信息按照yolo模型的标记格式保存为同名的’./yolo-dataset/train/*_idx.json‘

json文件中按照格式保存有category_idx, x_center, y_center, width, height:

  1. category_idx: 违法行为标记
  2. <x_center>和<y_center>是边界框中心点相对于图像宽度和高度的比例
  3. <width>和<height>是边界框的宽度和高度相对于图像宽度和高度的比例
for anno_path, video_path in zip(train_annos[:5], train_videos[:5]):
    print(video_path)
    anno_df = pd.read_json(anno_path)
    cap = cv2.VideoCapture(video_path)
    frame_idx = 0 
    while True:
        ret, frame = cap.read()
        if not ret:
            break

        img_height, img_width = frame.shape[:2]
        
        frame_anno = anno_df[anno_df['frame_id'] == frame_idx]
        cv2.imwrite('./yolo-dataset/train/' + anno_path.split('/')[-1][:-5] + '_' + str(frame_idx) + '.jpg', frame)

        if len(frame_anno) != 0:
            with open('./yolo-dataset/train/' + anno_path.split('/')[-1][:-5] + '_' + str(frame_idx) + '.txt', 'w') as up:
                for category, bbox in zip(frame_anno['category'].values, frame_anno['bbox'].values):
                    category_idx = category_labels.index(category)
                    
                    x_min, y_min, x_max, y_max = bbox
                    x_center = (x_min + x_max) / 2 / img_width
                    y_center = (y_min + y_max) / 2 / img_height
                    width = (x_max - x_min) / img_width
                    height = (y_max - y_min) / img_height

                    if x_center > 1:
                        print(bbox)
                    up.write(f'{category_idx} {x_center} {y_center} {width} {height}\n')
        
        frame_idx += 1

同样的方法，将评估集导入到yolo-dataset/val中

for anno_path, video_path in zip(train_annos[-3:], train_videos[-3:]):
    print(video_path)
    anno_df = pd.read_json(anno_path)
    cap = cv2.VideoCapture(video_path)
    frame_idx = 0 
    while True:
        ret, frame = cap.read()
        if not ret:
            break

        img_height, img_width = frame.shape[:2]
        
        frame_anno = anno_df[anno_df['frame_id'] == frame_idx]
        cv2.imwrite('./yolo-dataset/val/' + anno_path.split('/')[-1][:-5] + '_' + str(frame_idx) + '.jpg', frame)

        if len(frame_anno) != 0:
            with open('./yolo-dataset/val/' + anno_path.split('/')[-1][:-5] + '_' + str(frame_idx) + '.txt', 'w') as up:
                for category, bbox in zip(frame_anno['category'].values, frame_anno['bbox'].values):
                    category_idx = category_labels.index(category)
                    
                    x_min, y_min, x_max, y_max = bbox
                    x_center = (x_min + x_max) / 2 / img_width
                    y_center = (y_min + y_max) / 2 / img_height
                    width = (x_max - x_min) / img_width
                    height = (y_max - y_min) / img_height

                    up.write(f'{category_idx} {x_center} {y_center} {width} {height}\n')
        
        frame_idx += 1

下载模型搭建好的模型

!wget http://mirror.coggle.club/yolo/yolov8n-v8.2.0.pt -O yolov8n.pt

下载Ultralytics的arial字体文件

!mkdir -p ~/.config/Ultralytics/
!wget http://mirror.coggle.club/yolo/Arial.ttf -O ~/.config/Ultralytics/Arial.ttf

模型的训练

导入下载好的模型，调用train方法，设置好参数就可以开始运行了:

  1. epochs: 训练的轮数
  2. imgsz: 图片大小
  3. batch: 训练一次打包的图片数

其中每一轮训练结束后，yolo还会自动将训练好的模型加参数保存为文件方便下一次调用

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

import warnings
warnings.filterwarnings('ignore')


from ultralytics import YOLO
model = YOLO("yolov8n.pt")
results = model.train(data="yolo-dataset/yolo.yaml", epochs=2, imgsz=1080, batch=16)

模型的评估

在训练好模型后，用训练好的模型去评估测试集，将测试集的结果保存到result文件夹中

category_labels = ["非机动车违停", "机动车违停", "垃圾桶满溢", "违法经营"]

if not os.path.exists('result/'):
    os.mkdir('result')

from ultralytics import YOLO
model = YOLO("runs/detect/train/weights/best.pt")
import glob

for path in glob.glob('测试集/*.mp4'):
    submit_json = []
    results = model(path, conf=0.05, imgsz=1080,  verbose=False)
    for idx, result in enumerate(results):
        boxes = result.boxes  # Boxes object for bounding box outputs
        masks = result.masks  # Masks object for segmentation masks outputs
        keypoints = result.keypoints  # Keypoints object for pose outputs
        probs = result.probs  # Probs object for classification outputs
        obb = result.obb  # Oriented boxes object for OBB outputs

        if len(boxes.cls) == 0:
            continue
        
        xywh = boxes.xyxy.data.cpu().numpy().round()
        cls = boxes.cls.data.cpu().numpy().round()
        conf = boxes.conf.data.cpu().numpy()
        for i, (ci, xy, confi) in enumerate(zip(cls, xywh, conf)):
            submit_json.append(
                {
                    'frame_id': idx,
                    'event_id': i+1,
                    'category': category_labels[int(ci)],
                    'bbox': list([int(x) for x in xy]),
                    "confidence": float(confi)
                }
            )

    with open('./result/' + path.split('/')[-1][:-4] + '.json', 'w', encoding='utf-8') as up:
        json.dump(submit_json, up, indent=4, ensure_ascii=False)

最后删除其他文件，将result文件打包即可

!\rm result/.ipynb_checkpoints/ -rf
!\rm result.zip
!zip -r result.zip result/

训练优化

在baseline1中，为了便捷性，把训练集的大小设置得较小，训练轮数设置得较少，因此，为了提高准确率，可以人为增加训练集和训练轮数，如:

# 由于虚拟机磁盘大小有限，只能保存30个左右视频的全部图片，这里只保存20个
for anno_path, video_path in zip(train_annos[:20], train_videos[:20]):
# for anno_path, video_path in zip(train_annos[:5], train_videos[:5]):

results = model.train(data="yolo-dataset/yolo.yaml", epochs=5, imgsz=1080, batch=16)
# results = model.train(data="yolo-dataset/yolo.yaml", epochs=2, imgsz=1080, batch=16)

作为对比，可以看到修改后，单看每一轮或看最终的训练结果，训练时的各项损失值都有明显下降，说明baseline1的训练是远不够充分的

    # 修改前
      Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        1/2      6.62G      1.529       3.15      1.241         20       1088
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95):
                   all        583       6590     0.0225      0.355     0.0576     0.0224


      Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        2/2      6.25G     0.8006      1.357     0.9097         29       1088
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all        583       6590     0.0398      0.547      0.175     0.0802
     # 修改后
    Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        1/5      6.33G     0.6679     0.7915     0.9846         80       1088
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all        583       6590       0.38       0.13       0.17     0.0605

      Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        2/5      6.01G     0.3587     0.2876      0.858        121       1088
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all        583       6590     0.0329      0.206     0.0353     0.0128


      Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        3/5      5.83G     0.2769     0.2256     0.8355         96       1088
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all        583       6590      0.396     0.0625     0.0389      0.012


      Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        4/5      6.01G       0.22     0.1847     0.8204         90       1088
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all        583       6590      0.382      0.172     0.0924     0.0284


      Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        5/5      5.91G      0.174     0.1513     0.8083         75       1088
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all        583       6590      0.189       0.18      0.121     0.0431
Charley_ker
关注
  • 12
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Web安全深度剖析-笔记
qq_30378851的博客
11-20 3374
Web安全深度剖析-笔记 文章目录Web安全深度剖析-笔记HTTP基础知识http请求方法http状态码http消息头（字段）截取HTTP请求搜索引擎劫持SQLmap注入注入基础知识使用DVWA来练习使用sqlmapSQLmap基本使用方法更多的选项简述利用过程其他常用的参数用法SQLmap能检测到的注入类型其他检测SQL注入的工具上传漏洞WEB解析漏洞简介IIS6.0解析漏洞APACHE漏洞PH...
2019-2-17 dvwa学习-环境搭建和sql字符型注入（级别low）
weixin_42555985的博客
02-17 7354
因为要学习sqlmap，所以需要搭一个测试环境。 查了网上http://www.360doc.com/content/13/0614/22/11029609_292922372.shtml，打算搞个dvwa环境。 DVWA全称是Damn Vulnerable Web Application，它是用PHP+Mysql编写的一套用于常规WEB漏洞教学和检测的WEB脆弱性测试程序。包含了SQL注入、XS...
Charley- Datawhale AI 夏令营 第五期 CV Task2 学习笔记
kevin4502的博客
08-29 164
增大训练集的大小，可以增强模型的泛化能力，于是我们把baseline中只取训练集中的5个视频改为了全部视频文件。
Charley- Datawhale AI 夏令营 第五期 CV Task3 学习笔记
最新发布
kevin4502的博客
08-31 94
通过增强数据集，可以提高模型的泛化能力，使得模型能够识别更准确地识别更多变的结果。通过训练前的参数调整，可以达到防止过拟合和调整权重变化速度等效果。
计算机视觉论文-2021-09-14
中科院AI算法工程师的博客
09-15 3806
本专栏是计算机视觉方向论文收集积累，时间：2021年9月14日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:COSMic: A Coherence-Aware Generation Metric for Image Descriptions AUTHORS: MERT ?NAN et. al. CATEGORY: cs.CL [cs.CL...
【AI视野·今日CV 计算机视觉论文速览 第192期】Thu, 6 May 2021
TomRen
05-06 1047
AI视野·今日CS.CV 计算机视觉论文速览 Thu, 6 May 2021 Totally 61 papers ????上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Self-Supervised Multi-Frame Monocular Scene Flow Authors Junhwa Hur, Stefan Roth由于简单，经济的捕获设置，估计从一系列单眼图像序列的3D场景流动一直在增加。由于问题严重的问题，目前方法的准确性受到限制，特别是高
First-Order-Logic-Resolution:[AI]确定是否可以使用一阶逻辑解析从知识库中推断出查询
04-28
一阶逻辑解决方案 ...1.输入文件夹中的input.txt . . . . . . 范例1 2 Ancestor(Liz,Billy) Ancestor(Liz,Joe) 6 Mother(Liz,Charley) Father(Charley,Billy) ~Mother(x,y) | Parent(x,y) ~Fat
网络安全学习之DVWA平台的搭建及简单使用
Aurevoirs的博客
08-04 1280
centos操作系统下，DVWA平台的搭建方法记录及DVWA平台简单使用整理
积分java源码-tiger-zone:CEN3031基于carcassonne的游戏
06-06
目的是让游戏能够有两个玩家，能够实现人工智能，并能够与锦标赛服务器通信以与类的其余实现竞争。 在这个项目过程中获得的任何和所有设计文档都放在 /documentation/ 子目录中。 有些已弃用，并且自首次实施以来...
软件测试学习笔记丨Pytest配置文件
ceshiren_com的博客
08-27 4198
pytest.ini是pytest的配置文件；可以修改pytest的默认行为；不能使用任何中文符号，包括汉字、空格、引号、冒号等。
Datawhale X 李宏毅苹果书AI夏令营 学习笔记
m0_61049596的博客
08-31 556
今天，我继续学习了深度学习中的优化算法，并且着重理解了如何利用。等高级优化器来提高模型训练的效率和效果。2024年8月30日。
前端开发学习Docker记录02容器操作
第⑦个前端
08-29 3756
使用docker ps 可以看到有哪些镜像在运行。
AI实践与学习8-AI Agent Workflow助力解题和验证答案置信度
xiaosi的博客
08-30 388
之前在试着提高解题正确率，目标100%，发现外部知识不足仅依靠大模型的话比较困难。而试题人工生产成本巨大。本质因为大模型生成内容会有幻觉特点，也就是说解答的试题正确性不太好评判，直接解答试题生产场景不太可控。后面考虑调用OpenAI解题的时候，像xxx那样通过输出置信度来帮助判断答案的正确性 or 其他形式只要能保证LLM生成答案是可靠（程序判断）的。
算法的学习笔记—把数字翻译成字符串
业精于勤，荒于嬉
08-31 664
通过动态规划的方法，我们可以高效地计算出一个数字字符串有多少种不同的翻译方法。这个问题不仅考察了我们对动态规划的理解，还让我们熟悉了如何处理字符串中的边界情况和状态转移。希望通过这个例子的讲解，能够帮助你更好地理解动态规划的应用。😁热门专栏推荐想学习vue的可以看看这个java基础合集数据库合集redis合集nginx合集linux合集手写机制微服务组件spring_尘觉springMVCmybit欢迎大家加入我的社区尘觉社区文章到这里就结束了，如果有什么疑问的地方请指出，诸佬们一起来评论区一起讨论
【AI学习】在魔塔社区玩Ollama：部署GLM4和CodeGeeX4
bylander的博客
08-27 1578
尝试了一下CodeGeeX4-ALL-9B 的Ollama部署。GPU要明显快很多，CPU的速度，也还凑合吧
ArkTS基础快速入门学习
weixin_49898946的博客
08-29 1146
ArkTS语言在TS语言基础上扩展了声明式UI，组件化，状态管理等功能。官方推荐两种开发模式开发鸿蒙，一种是基于js扩展的类web范式，另一种是基于TS扩展的声明式UI范式（也就是使用ArkTS开发）。主要介绍harmonyos的页面布局和组件的基础使用
html+css+js网页设计 个人博客模版 我的学习经历7个页面
qq_42431718的博客
08-28 1129
html+css+js网页设计 个人博客模版 我的学习经历7个页面 网页作品代码简单，可使用任意HTML编辑软件（如：Dreamweaver、HBuilder、Vscode 、Sublime 、Webstorm、Text 、Notepad++ 等任意html编辑软件进行运行及修改编辑等操作）。
起点与终点相隔4500米。现charley 需要从起点骑车到终点。但是，他有个习惯，沿途需要有人陪伴，即以相同的速度， 与另外一个人一起骑。而当他遇到以更快的速度骑车的人时，他会以相应的速度跟上这个更快的人。先给定所有与charley 同路的人各自的速度与出发时间，问charley 以这种方式跟人，骑完4500米需要多少时间。得出的结果若是小数，则向上取整。
06-06
起点和终点相隔4500米。现Charley需要从起点骑车到终点。但是，他有个习惯，沿途需要有人陪伴，即以相同的速度，与另外一个人一起骑。而当他遇到以更快的速度骑车的人时，他会以相应的速度跟上这个更快的人。先给定所有与Charley同路的人各自的速度和出发时间，问Charley以这种方式跟人，骑完4500米需要多少时间。得出的结果若是小数，则向上取整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值