【Pytorch学习笔记八】深度学习数据集介绍（训练集、验证集、测试集）及数据标注工具（labelme等）

1. 什么是数据集

用已知某种或某些特性的样本作为训练集，以建立一个数学模型，再用已建立的模型来预测未知样本，此种方法被称为有监督学习，是最常用的一种机器学习方法。为了获得有监督学习中样本的真实分类标签（classification label）或者真实目标值（target value），某些情况下，可以采用人工专家标注的方法获得，而这就是数据集。有监督学习是从有正确答案的样本集合中学习，即每个样本的分类标签（classification label）或者目标值（target value）已知。有监督学习中样本的ground truth指的是每个样本的真实分类标签（classification label）或者真实目标值（target value）。

2.数据集划分：训练集、验证集、测试集

2.1 训练集、验证集、测试集

训练集（train set）： 用于模型拟合的数据样本，调试网络中的参数。

验证集（validation set）： 查看训练效果，模型训练的效果是否朝着坏的方向进行。验证集的作用是体现在训练的过程。举个栗子：通过查看训练集和验证集的损失值随着epoch的变化关系可以看出模型是否过拟合，如果是可以及时停止训练，然后根据情况调整模型结构和超参数，大大节省时间。

测试集（test set）： 测试网络的实际学习能力，评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。测试集的作用是体现在测试的过程。

这里验证集和测试集容易混淆，注意两者的区别！

2.2 划分方法

留出法

• 将数据集D划分成两个互斥集合，常用的是将训练集和测试集比例选取为7:3。
• 训练集和测试集的划分要尽可能保持数据分布的一致性。分层采样：每个类别当中也按照7:3的比例来划分。以二分类为例正例样本在训练集和测试集中的比例为7:3，反例在训练集和测试集中的比例也为7:3。
• 留出法得到的结果往往不够稳定可靠，不同的训练集测试集划分会导致模型评估标准也会不同。一般都会进行多次随机划分，例如100次试验评估就会得到100个结果，留出法取这100个结果的平均。

交叉验证法

• 将数据集D划分成k个大小相似的互斥子集，每次都用其中k-1个子集的并集作为训练集，余下那个子集作为测试集。这样就会有k次划分，k次训练。最终结果是返回k个测试结果的均值。通常把交叉验证法称为“k折交叉验证”，k最常用的取值是10，此时称为10折交叉验证。
• 假设数据集D中有m个样本，若令k=m，则得到交叉验证的一个特例，每个集合只含有一个元素，称为留一法（LOO）。留一法的评估结果比较准确，但是计算开销难以忍受，100万个样本需要训练100万次。

2.3 划分比例

1. 数据量较小（传统机器学习）

​ 没有验证集，训练集：测试集=7：3

​ 有验证集，训练集：验证集：测试集=6：2：2

2. 数据量较大（如上百万大数据划分）

​ 可以将训练集、验证集、测试集比例调整为98：1：1

2.4 常用公共数据集介绍

常用公共数据集可查看这篇博客文章：

https://blog.csdn.net/weixin_42010722/article/details/120199613

目标检测数据集格式转换脚本（常见如voc to coco）：

https://github.com/DLLXW/objectDetectionDatasets

用于施工现场中的目标检测大型数据集（SODA）：

VOC格式，包含15种物体4种类别，图片数量大于19,846张图片。

论文网址：https://www.sciencedirect.com/science/article/pii/S0926580522003727?via%3Dihub

链接直接下载SODA的第一个版本 （文件大小约24G）：

https://scut-scet-academic.oss-cn-guangzhou.aliyuncs.com/SODA/2022.2/VOCv1.zip

3.数据标注工具

3.1 labelme

labelme是一款图像标注工具（包括：(instance segmentation, semantic segmentation, bbox detection, and classification)），主要用于神经网络构建前的数据集准备工作。

gitcode网址：

https://gitcode.net/mirrors/wkentaro/labelme?utm_source=csdn_github_accelerator

github网址：

https://github.com/wkentaro/labelme

安装及使用：

首先可以用conda新建一个labelme环境，然后激活。

#新建环境
conda create -n labelme python=3.8
#激活环境
activate labelme

安装labelme包：

conda install labelme
#或者
pip install labelme

打开labelme：

命令行输入

labelme

运行时出现报错

QT4 = QT_VERSION[0] == “4”
TypeError: ‘NoneType’ object is not subscriptable

安装一下pyqt5就可以了

pip install pyqt5

使用教学网址：http://labelme.csail.mit.edu/

3.2 其它标注工具介绍

LabelImg：

注释以 PASCAL VOC 格式保存为 XML 文件，这是ImageNet使用的格式。此外，它还支持 YOLO 和 CreateML 格式。

github网址：https://github.com/tzutalin/labelImg

point-cloud-annotation-tool：

github网址：https:/github.com/abreheret/PixelAnnotationTool

CVAT：

CVAT 是一种用于计算机视觉的交互式视频和图像注释工具。它被全球数以万计的用户和公司使用。CVAT 是免费和开源的。

github网址：https://github.com/opencv/cvat

在线使用：https://app.cvat.ai/auth/login

LabelBox：

使用 Labelbox，您可以在一个统一的平台内以最少的人工监督快速创建训练数据、训练模型、管理模型实验并提高模型性能。

在线网址：https://labelbox.com/

参考资料：

https://blog.csdn.net/qq_44704609/article/details/104374600

https://blog.csdn.net/u010916338/article/details/92585641
欢迎关注公众号【智能建造小硕】（分享计算机编程、人工智能、智能建造、日常学习和科研经验等，欢迎大家关注交流。）