学生课堂行为检测数据集 8800张 上课行为 标注voc yolo 7类

 

学生课堂行为检测数据集 8800张 上课行为 标注voc yolo

学生课堂行为检测数据集

名称

学生课堂行为检测数据集 (Student Classroom Behavior Detection Dataset)

规模

• 图像数量：共8884张图像。
• 类别：包括7种不同的学生课堂行为以及教师指导，总计8类。

数据划分

• 训练集 (Train)：通常占总数据的80%左右，约7107张图像。
• 验证集 (Validation)：通常占总数据的20%左右，约1777张图像。

数据特点

• 多样化的行为类型：涵盖了学生在课堂上的多种典型行为，如低头写字、低头看书、抬头听课等。
• 详细的标注信息：每张图片都带有精确的边界框标注，适用于VOC和YOLO格式。
• 广泛的应用场景：可以用于研究学生的注意力分布、课堂参与度分析以及教学方法改进等领域。

应用领域

• 教育技术：帮助教师了解学生在课堂上的行为模式，优化教学策略。
• 智能教室：自动监测并记录学生的行为，为后续分析提供数据支持。
• 科研应用：为计算机视觉、行为识别及教育心理学的研究提供宝贵的数据资源。

分类说明

• 0 - 低头写字 (dx)：(4148张, 72462个标注)
• 1 - 低头看书 (dk)：(6133张, 58932个标注)
• 2 - 抬头听课 (tt)：(6911张, 117528个标注)
• 3 - 转头 (zt)：(2385张, 5339个标注)
• 4 - 举手 (js)：(1362张, 4183个标注)
• 5 - 站立 (z|)：(2386张, 4101个标注)
• 6 - 小组讨论 (xt)：(1002张, 4663个标注)
• 7 - 教师指导 (jz)：(668张, 680个标注)

总数

• 图片总数：8884张
• 标注总数：267888个
• 类别数 (nc)：8类

1. 安装依赖库

首先，确保安装了必要的依赖库。可以在项目目录中的requirements.txt文件中列出这些依赖库，然后运行以下命令进行安装：

pip install -r requirements.txt

requirements.txt 文件内容示例：

torch==1.10.0
torchvision==0.11.1
pandas==1.3.4
cv2
albumentations==1.1.0

2. 创建数据集

定义一个自定义的数据集类，并创建数据加载器。

import os
import pandas as pd
import cv2
from torch.utils.data import Dataset, DataLoader
from torchvision.transforms import Compose, ToTensor, Normalize, Resize
from albumentations import HorizontalFlip, RandomBrightnessContrast, ShiftScaleRotate, BboxFromMasks, BBoxFormatPASCAL
from albumentations.pytorch import ToTensorV2

# 自定义数据集类
class StudentBehaviorDataset(Dataset):
    def __init__(self, data_root, annotations_file, transforms=None):
        self.data_root = data_root
        self.annotations = pd.read_csv(annotations_file)
        self.transforms = transforms

    def __len__(self):
        return len(self.annotations)

    def __getitem__(self, idx):
        img_path = os.path.join(self.data_root, self.annotations.iloc[idx, 0])
        image = cv2.imread(img_path)
        bboxes = self.annotations.iloc[idx, 1:].values.reshape(-1, 4)  # bounding box coordinates
        labels = self.annotations.columns[1:]

        if self.transforms:
            augmented = self.transforms(image=image, bboxes=bboxes)
            image = augmented['image']
            bboxes = augmented['bboxes']

        return image, bboxes, labels

# 图像预处理
def get_transforms():
    """构建预处理函数"""
    _transform = [
        Resize(height=416, width=416, interpolation=cv2.INTER_LINEAR),
        HorizontalFlip(p=0.5),
        RandomBrightnessContrast(p=0.2),
        ShiftScaleRotate(p=0.5, shift_limit=0.0625, scale_limit=0.2, rotate_limit=15),
        Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
        ToTensorV2(),
        BboxFromMasks(format=BBoxFormatPASCAL)
    ]
    return Compose(_transform)

# 创建数据加载器
train_dataset = StudentBehaviorDataset(
    data_root='path_to_your_train_images',
    annotations_file='path_to_your_train_annotations.csv',
    transforms=get_transforms()
)
val_dataset = StudentBehaviorDataset(
    data_root='path_to_your_val_images',
    annotations_file='path_to_your_val_annotations.csv',
    transforms=get_transforms()
)

train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True, num_workers=4)
val_loader = DataLoader(val_dataset, batch_size=32, shuffle=False, num_workers=4)

3. 训练YOLOv5模型

使用YOLOv5进行训练。

!git clone https://github.com/ultralytics/yolov5  # 下载YOLOv5代码仓库
cd yolov5

# 使用YOLOv5训练模型
python train.py --weights yolov5s.pt --data path_to_your_data.yaml --name student_behavior_detection --img 416 --batch 16 --epochs 100 --device 0

• 数据配置文件：创建一个名为data.yaml的数据配置文件，其中包含训练和验证数据集的信息。

train: path_to_your_train_images
val: path_to_your_val_images
nc: 8
names: ['低头写字', '低头看书', '抬头听课', '转头', '举手', '站立', '小组讨论', '教师指导']

4. 调整模型

• 超参数调整：根据实际情况调整模型的超参数，例如学习率、批大小等。
• 数据增强：增加数据增强策略，如旋转、缩放、翻转等，以提高模型鲁棒性。

5. 预测与评估

完成训练后，可以使用训练好的模型对新的图片进行预测和评估。

from models.experimental import attempt_load
from utils.datasets import ImageList
from utils.torch_utils import select_device, time_synchronized
from utils.plots import plot_results

# 加载模型
device = select_device('0')
model = attempt_load('runs/train/exp/weights/best.pt', map_location=device)  # 加载最佳权重

# 新建数据集
test_dataset = ImageList('path_to_test_images', transform=get_transforms())
test_loader = DataLoader(test_dataset, batch_size=1, shuffle=False, num_workers=4)

# 进行预测
results = []
with torch.no_grad():
    t0 = time_synchronized()
    for i, (x, path) in enumerate(test_loader):
        x = x.to(device)  # 将输入图像转换到设备上
        pred = model(x)[0]  # 获取预测结果
        results += plot_results(pred, path, save=True, show=False)  # 绘制预测结果图

print(f'Time {time_synchronized("start") - t0:.3f} s')

注意：以上代码仅供参考，请根据实际情况修改路径和参数。