计算机视觉入门必备---数据标注及相关工具的使用

数据标注及相关工具的使用

前言

在计算机视觉的广阔领域中，数据标注无疑占据着举足轻重的地位。作为构建和训练视觉模型的基础，数据标注为机器提供了理解和解析图像的关键信息。对于初学者而言，掌握数据标注技能不仅是进入计算机视觉领域的敲门砖，更是提升模型性能、实现精准图像识别的关键所在。

数据标注不仅仅是简单的标记工作，它涉及到对图像内容的深入理解、对标注规范的准确把握，以及耐心细致的操作。通过数据标注，我们可以将图像中的目标物体、关键特征以及上下文信息提取出来，为模型的训练提供丰富的素材。

对于初学者来说，学习数据标注技能不仅能够帮助我们更好地理解计算机视觉的基本原理，还能够让我们在实践中不断积累经验，提升对图像数据的处理能力。通过亲手标注数据，初学者可以更加深入地了解模型的训练过程，掌握模型性能优化的技巧，为未来的进阶学习打下坚实的基础。

因此，本文将重点介绍计算机视觉中的数据标注技能，包括标注的基本概念、常用工具包括labelme/labelimg/X-labeling的使用以及质量保证措施等。

一、计算机视觉数据标注基础

数据标注的概念与意义

在计算机视觉领域，数据标注是指对图像或视频数据进行手动或自动的标记和注释，以提供机器学习模型训练所需的信息。这些标记可以包括识别图像中的物体、定位物体的位置、描述物体的属性等。数据标注在计算机视觉中扮演着至关重要的角色，它是模型学习和推理的基础，对于提升模型的准确性和性能至关重要。

通过数据标注，我们可以为机器学习模型提供丰富的训练样本，使其能够学习到图像中的特征、模式和关系。这些数据标注信息可以帮助模型更好地理解图像内容，从而实现更准确的物体检测、分类、识别等任务。因此，对于初学者来说，掌握数据标注技能是进入计算机视觉领域的重要一步，也是提升模型性能的关键所在。

数据标注的类型与适用场景(重点)

在计算机视觉中，数据标注的类型多种多样，每种类型都有其适用的具体场景和任务。以下是一些常见的数据标注类型及其适用场景：
1. 边界框标注：用于目标检测任务，如车辆检测、人脸检测等。通过在图像中绘制矩形框来标记目标物体的位置和范围，帮助模型学习物体的空间位置和大小。

2. 多边形标注：适用于更精细的物体分割任务，如语义分割、实例分割等。通过绘制多边形来精确勾勒物体的轮廓，提供物体形状的详细信息，有助于模型实现更精准的分割效果。

3. 关键点标注：常用于姿态估计、人脸识别等任务。通过在图像中标记关键点的位置，如人体的关节点、人脸的特征点等，帮助模型学习物体的结构和姿态信息。

4. 图像分类标注：为整个图像分配标签，用于图像分类任务。通过对大量图像进行标注，模型可以学习到不同类别图像的特征和差异，实现准确的分类。

常见标注文件的格式

JSON格式：JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。在图片标注中，JSON格式常用于存储标注的详细信息，如目标物体的位置、大小、类别等。这种格式的优点是结构清晰，易于理解和处理。
XML格式：XML（Extensible Markup Language）是一种标记语言，被广泛用于数据的存储和传输。在图片标注中，XML格式可以用来描述图像中对象的层次结构和属性信息。XML格式具有良好的可读性和可扩展性，但相对JSON格式来说，处理起来可能稍显复杂。
Pascal VOC格式：Pascal VOC（Visual Object Classes）是一个用于目标检测、图像分割等计算机视觉任务的标注数据集。Pascal VOC格式的标注文件通常以XML格式存储，包含了图像中物体的类别、位置（边界框）等信息。
YOLO格式：YOLO（You Only Look Once）是一种实时目标检测算法，其标注文件通常采用简单的文本格式，每一行代表一个目标物体，包含物体的类别、位置（中心点和宽高）等信息。这种格式简单直观，便于解析和处理。
COCO格式：COCO（Common Objects in Context）是一个用于目标检测、分割和关键点检测等任务的大型图像数据集。COCO格式的标注文件通常以JSON格式存储，包含了丰富的标注信息，如目标物体的类别、位置、分割掩码以及关键点的位置等。

取决于标注工具的不同，所得到的标注文件格式可能也不尽相同，但是我们可以借助python脚本实习各个标注图片上的转化，从而满足不同的网络输入需求。

参考文章:
入行数据标注必须要了解到相关基础知识
图像标注的基础内容介绍
十种常见的图像标注方法 | 数据标注

数据标注的挑战与要求

尽管数据标注在计算机视觉中扮演着重要角色，但标注过程也面临着一些挑战和要求。首先，数据标注需要高度的准确性。标注的精度直接影响到模型的训练效果和性能，因此标注人员需要具备专业的知识和经验，确保标注结果的准确性。

其次，数据标注的工作量通常很大。特别是对于大规模数据集，需要进行大量的图像标注工作。这要求标注人员具备耐心和毅力，能够长时间专注于标注任务。

此外，数据标注还需要考虑标注的一致性。对于同一类物体，标注人员应该采用相同的标注规范和方法，以确保标注结果的一致性和可比性。

为了应对这些挑战，我们可以采取一些措施来提高数据标注的质量和效率。例如，制定详细的标注规范和流程，提供清晰的标注指南和示例；采用自动化工具辅助标注，减轻标注人员的工作负担；进行定期的标注质量检查和评估，及时发现和纠正标注错误。

二、流行的数据标注工具介绍

目前个人使用的主流标注工具主要是Labelme和labelimg这两款，都提供了丰富的功能和友好的操作界面，使得用户可以轻松地进行图像标注工作。用户可以根据自己的需求和偏好选择适合的标注工具，以满足不同的标注需求。
当然，个人轻量化标注我还是比较推荐 Labelme 这个工具！
Labelme以其强大的功能和直观的操作界面而受到用户的青睐。它支持对图像进行多边形、矩形、圆形等多种形式的标注，使得用户可以精确地标记出图像中的目标物体。此外，Labelme还支持与TensorFlow Object Detection API和MXNet等机器学习框架的集成，方便用户将标注数据用于训练模型。同时，作为开源工具，Labelme的代码是公开可查的，用户可以根据自己的需求进行定制和扩展，增加了其灵活性和适用性。

另一方面，Labelimg则以其简洁高效和专注于目标检测的特点而受到用户的喜爱。它主要用于创建边界框标注，能够快速准确地标注出图像中目标物体的位置和大小。Labelimg还支持批量导入图像进行标注，大大提高了标注效率。此外，Labelimg也提供了友好的用户界面和多种标注数据格式的支持，使得用户可以轻松地进行标注工作，并将标注数据导出为不同的格式，以适应不同的机器学习框架。

Labelme

• 功能强大且易用：提供直观的图形界面，支持多种标注形式，如多边形、矩形等，适用于目标检测、图像分割等多种任务。
• 开源与跨平台：基于Python开发，支持Windows、Linux和Mac等操作系统，用户可以根据需要自由定制和扩展功能。
• 格式兼容：标注结果以JSON格式保存，便于后续处理和分析。

1.安装
首先确保你已经安装了python或者anaconda，之后在cmd终端运行以下命令即可：

pip install labelme

出现最后一句话即为安装成功。

2.使用
lableme的使用也很简单，只需要打开终端输入以下命令即可：

lableme

之后便会出现下面的窗口：

点击“文件”，打开目录选择待标注图片存放的目录即可看到未标注的图片，同时记得把“自动保存”勾选上：

点击“编辑”，点击“创建矩形”，就可以开始标注了：

输入标签名称，点击“ok"即可：

之后在图片文件夹下面便会生成同名的json标注文件（如果未更改输出路径）如下所示：

标注的json文件如下图所示：

之后点击下一张或者使用快捷键A和D切换上下一张依次完成所有图片标注即可。

参考文章：
深度学习图像标签标注软件labelme超详细教程
labelme安装与使用教程（内附一键运行包和转格式代码）
labelme标注工具使用说明

Labelimg

• 矩形框标注为主：主要用于创建边界/矩形框标注，适用于标注物体的位置和大小。
• 简洁高效：支持批量导入图像进行标注，提高了标注效率。
• 自动保存：在标注过程中会自动保存用户的标注进度，确保数据安全。

安装及使用
其安装及使用方式基本同上，不同的是其标注完成的是yolo格式的txt文件。
安装命令如下：

pip install pyqt5 # 安装图形化依赖包
pip install labelImg 

打开cmd窗口即可使用：

labelimg

标注好的文件如下：

txt文件示例：

闪退bug解决

1. 预设分类名称： 在文件 data/predefined_classes.txt 中设置即可，一行一个，在标记文件中编码数字从0开始

2. 闪退问题： 当首次标注一个图片库时，会自动在图片库文件夹中创建一个 classes.txt文件，初始内容取自predefined_classes.txt, 标记过程中临时添加的标记也会被写到该文件。 但当打开一个新文件夹时，如果predefined_classes.txt 和 classes.txt的文件内容有冲突，比如同一个类的序号不同，就会闪退。解决防范就是保证两个文件内容一致。如果图片库需要多次标记，注意每次都要检查下classes.txt的内容，保证包含之前的标记类别以及排序保持前后一致。（这个问题大部分人应该都会遇到），解决方法是在第一张图片上任意标注出所有类别的框保存后在删除继续后续标注即可。

3. 标记生成的文件
   选择生成格式为yolo时，生成的txt标记文件，是一行一个标记。但当用记事本打开时，会看到多个标记数据都写在了一行，并没有换行，这是因为记事本默认编码不是utf-8. 用支持utf-8的编辑器打开即可看到是一行一个标记数据。

参考文章：
labelimg和labelme使用教程
【数据准备001】标注工具Labelimg安装与使用（附txt与xml文件相互转化代码）

X-AnyLabeling

AnyLabeling = LabelImg + Labelme + Improved UI + Auto-labeling，数据标注进阶必备！！！

• AI自动标注：除了手工打标签外，还集成了多种AI模型，如Segment Anything和YOLO，可实现为图像自动打标签。
• 功能丰富：支持多边形、矩形、圆形等多种标注形式，以及文本检测和关键信息提取等高级功能。
• 导出格式多样：支持导出Yolo-txt、Coco-json、Voc-xml等多种annotation格式文件，方便与其他工具或框架对接。

项目官网： https://github.com/CVHub520/X-AnyLabeling

安装使用:

解压后如下图，直接在此目录下面使用cmd运行 以下命令即可：

python anylabeling/app.py

当然，你也可以新建一个start.bat文件输入上面内容，每次双击即可运行。

可以使用训练好的模型来标注你的图片或者视频，亦或者是使用yolo官方提纲的模型来标注，具体内容看官网介绍，总的来说此软件功能很强大，等待你的探索。

参考文章：
X-Anylabeling: 新一代自动标注工具
免费的标注工具推荐: X-Anylabeling(支持自动标注)和Label-Studio(团队协作)，支持Windows+Linux

makesense.ai

见参考文章内容

参考文章：
计算机视觉中的图像标注工具总结
自训练数据集打标签注意事项及使用工具推荐

三、图片数据采集的要求

我们以茶叶数据为主，简单介绍一下数据采集要求，比如我们的需求是采集茶叶数据集，之后使用使用深度学习相关技术将其分为可采摘茶叶与不可采摘菜叶，做一个二分类任务。
那么我们最直观的想法是得到一组图片，图片中的内容仅仅包含一片茶叶的内容，此外无其它干扰的理想数据集，这样我们通过一个简单的卷积神经网络如Resnet50、MobileV3等即可得到我们的分类模型。但是往往这样的要求是很难实现的，我们在进行图片采集的时候往往拍到的图片包含了很多的内容（通常，拍摄的图片会包含多种元素，如茶叶叶片、茶叶枝干、其他植物、土壤、背景物品等）。因此，我们需要根据实际情况对这样的图片数据进行预处理，这时候数据标注就显得十分有必要了。

再说回数据采集上,在采集茶叶数据集以使用深度学习技术区分可采摘茶叶与不可采摘茶叶时，图片标注数据采集的要求主要包括以下几个方面：

1. 数据采集应确保样本的多样性和代表性。这意味着需要从不同的茶叶品种、生长环境、生长阶段等多个维度进行采集，以覆盖各种可能的茶叶形态和状态。这有助于深度学习模型更好地学习茶叶的特征，提高分类或者检测的准确性。
2. 标注的准确性至关重要。标注人员需要准确判断每张图片中的茶叶是否可采摘，并进行相应的标注。标注错误或模糊不清可能导致模型学习到错误的信息，从而影响分类效果。因此，标注人员应具备一定的茶叶知识和经验，以确保标注的准确性。
3. 标注的一致性也很重要。对于同一张图片，不同的标注人员可能会有不同的判断。为了减少这种主观性带来的误差，需要制定统一的标注规范和标准，并对标注人员进行培训，确保他们在标注过程中遵循相同的标准和规则。
4. 数据采集还需要考虑图像的质量和清晰度。高质量的图像可以提供更多的细节信息，有助于深度学习模型更好地学习茶叶的特征。因此，在采集过程中应尽可能选择清晰、无遮挡、无模糊的图片。
5. 数据采集的规模和数量也是影响模型性能的重要因素。一般来说，更多的训练数据可以帮助模型更好地学习数据的分布和特征，从而提高分类的准确性。因此，在条件允许的情况下，应尽可能多地采集和标注茶叶数据集。
   （一般来说，一个良好的检测模型至少需要2000张以上的图片作为训练数据，当然，具体情况要根据实际应用场景决定）

---

后记

经过对数据标注技能的深入学习，我们深刻感受到了它在计算机视觉领域的重要性。掌握标注技巧不仅为模型的训练提供了关键素材，更是提升模型性能的关键。在学习的过程中，我们要熟练掌握了多种标注工具的使用，并深刻理解了标注质量对模型性能的影响。每一次标注都是对细节的追求，都是对准确性的挑战。在知识探索的道路上需要很多的耐心和毅力！

拓展阅读：
有哪些比较好的图像标注工具？ - 留德华叫兽的回答 - 知乎
八个数据标注文件操作的奇技淫巧
任俊飞, 朱桐, and 陈文亮. “基于部分标注的自训练多标签分类框架.” 清华大学学报 (自然科学版) 64.4 (2024): 679-687.
蔡莉, et al. “Survey of data annotation.” Journal of software 31.2 (2022): 302-320.