人工智能训练师之数据标注

1.人工智能训练师职业介绍

2.人工智能发展历程

1）符号主义：数理逻辑。

2）行为主义：控制论。

3）连接主义：仿生学。

3.人工智能有哪些典型技术？

主要包括机器学习、深度学习、计算机视觉、知识工程、自然语言处理、语音识别、计算机图形学、多媒体技术、人机交互技术、机器人、数据库技术、可视化、数据挖掘、信息检索与推荐等。目前，语音合成、语音识别、自然语言处理、图像处理、3D 点云、多模态数据处理等技术在人工智能中较为活跃。

机器学习：机器学习按照训练方式的不同可分为使用人工标注分类标签训练的监督学习，无分类标签且自动聚类推断的无监督学习，使用少量人工标注+自动聚类的半监督学习，以及根据现实情况自动“试错+调整”的强化学习四类。

机器学习划分与主要训练路径：

语音合成

传统的语音合成系统通常包括前端和后端两个模块。前端模块主要是对输入文本进行分析，提取后端模块所需要的语言学信息。对于中文合成系统而言，前端模块一般包含文本正则化、分词、词性预测、多音字消歧、韵律预测等子模块。后端模块根据前端分析结果，通过一定的方法生成语音波形。后端系统一般分为基于统计参数建模的语音合成(或称参数合成)以及基于单元挑选和波形拼接的语音合成(或称拼接合成)。

自然语言处理

(1)语音分析是根据音位规则，从语音流中区分出一个个独立的音素，再根据音位形态规则找出音节及其对应的词素或词。

(2)词法分析是找出词汇的各个词素，从中获得语言学的信息。

(3)句法分析是对句子和短语的结构进行分析，目的是找出词、短语等的相互关系以及各自在句中的作用。

(4)语义分析是找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念。

多模态

4、如何理解人工智能与数据标注的关系?

AI产业生态可以分为基础层、技术层和应用层：

(1)基础层按照算力、数据和算法再次划分，对整体上层建筑起到支撑作用;

(2)技术层根据算法用途分为计算机视觉、智能语音、自然语言处理等，是AI最引人注目的环节;

(3)应用层则按照不同场景的需求定制开发专属服务，是 A真正赋能行业的方式。

人工智能的三大决定性影响因素是算法、算力和数据。通过数据采集获得原始数据后，需对其进行加工处理即数据标注，然后输送到人工智能算法和模型中完成调用。

5、什么是数据标注?

数据标注就是将大量的、原始的、杂乱的数据转化为规范化的、计算机能够读懂的、标识出关键特征的数据集，从而支持人工智能的相关应用。

6、数据标注的对象包含什么?

人工智能数据集主要分为语音数据集、图像数据集、文本数据集和视频数据集等几大类别。

7、数据标注工程包括哪些环节?

包括数据采集、数据处理、数据标注、数据质检、数据交付验收等五大流程。

8、数据标注都有哪些应用工具?

常见的语音数据标注工具包括单段落语音数据标注、多段落语音数据标注等。

图像数据标注：方法有人工数据标注、自动数据标注和外包数据标注。图片标注工具主要实现的标注功能有关键点标注、2D标注框标注、3D标注框标注、线标注、区域标注、图片属性标注等。

视频通用功能标注基础工具包含点(Shi+A)、线(Shit+S)、矩形(Shift+D)、多边形Shift+F)，并支持快捷键选择工具。Vatic,openCV

文本数据标注工具：主要有实体标注、实体关系标注、文档属性标注、阅读理解交互意图等。

3D点云标注：指对激光雷达等设备采集的3D图像，通过 3D标注框将车辆、行人、广告标志和树木等目标物体标注出来(如图 2-13 所示)，供计算机视觉、无人驾驶等人工智能模型训练使用。

9、数据标注工具有哪些应用场景?

10、完整的数据标注存储结构是？

11、数据采集方法有哪些?

爬虫，数据众包采集，数据行业合作，传感器采集

12、数据处理操作涉及？

数据在组织、存储与标注前需要进行数据审核、去重、去噪、标准化、规范化、审查、校验等一系列数据整理、转换、清洗操作。

13、数据标注环节包括哪些内容?

数据标注方式包括人工标注、半自动标注、自动标注、众包等。

一定义所需标注数据和预估数据量

数据标注前应完成以下五项准备工作:

(1)分析数据。明确机器学习和模型训练过程中所需的标注数据类型、量级、用途及应用场景等。分析维度包括业务场景的针对性、标注样本的平衡性、前期经验及改进措施的借鉴等。

(2)整理数据。明确数据与标签文件存放的目录结构，在任务分配与回收时，应按指定目录进行数据组织。

(3)明确命名规则。应明确数据与标签文件的命名方式，命名规则应避免数据更新迭代时的重名，便于数据追踪、标注追踪，且数据文件名与标签文件名应保持一致。

(4)预估数据量。根据标注任务的人力获取模式、工具选择、标注任务类型、算法选择以及整个项目的成本，对所需标注的数据量进行预估。

(5)标注数据定义与需求。明确标注数据的定义并确定最终的需求量。

二标注说明规则

(1)标注说明规则职责分工。

(2)标注说明规则定义。标注说明规则明确项目背景、意义及数据应用场景，包含项目标注工具、任务描述、标注方法、正确示例、常见错误等内容。

(3)标注说明规则内容。包括但不限于以下内容:

项目背景

版本信息:标注该说明的当前版本编号、发布日期、发布人、发布说明(发布原因或迭代原因)及历史迭代信息(历代版本编号、发布日期、发布人、发布说明等)。

任务描述:概述标注项目主要任务，包括标注项目关键信息、数据形式、标注平台、主要标注方法、期望交付时间、正确率要求等。

保密责任:数据需求方应在规则中列明数据安全等级，明确保密责任。

标注方法:阐明数据需求方所需数据对象的标签定义，明确在协定标注平台上使用的标注组件标签类型及全部操作。

正确示例:通过图片、图文、视频等形式，示范正确的标注方法或成果，数据需求方应明确数据产出，标注方应明确标注认识，标注样例应覆盖特殊样本的标注示例。

注意事项:标注方的错误预警具有警示作用，规则制定者在注意事项中应列出标注方应避免的错误、标注方法中应注意的细节及额外处理方式等。

质量要求:数据标注规则应对项目的质量有合理的定量预估，质量审核应遵循质量要求。

(4)执行方法及注意事项。

(5)标注说明中术语体系规范化。至少应满足以下要求:

①遵从国家法规和行业规范;

②)建立统一的标注术语字典，确保数据标注人员对术语和定义理解的一致性:

③在学习标注说明规则及进行相应的培训后，数据标注人员能够规范使用标注术语完成任务;

④)被标注项目的相关方认可。

三标注人力供给方式

四标注工具与平台选择

五标注任务创建、分发、开展与回收

14、语音标注和图像标注涉及的技术有哪些?常见数据集是？常见标注工具实现的功能有?

语音转写，人脸检测和关键点检测、图像分割、图像识别

常见数据集

常见标注工具实现的功能

文本数据标注

3D点云标注

15、图像数据标注工具、标注类型、常用术语

常见的图像数据标注类型包括关键点标注、矩形框标注、图像分割、3D框标注、属性标注等。

图像数据的特征标注方法主要有:

(1)标注框标注:用矩形框、四边形框框选出目标物。

(2)关键点标注:用一个或多个关键点标注目标物特定局部的位置

(3)区域标注:)用开区域或闭区域分割出目标物的轮廓。

(4)属性标注:用一个或多个标签标注目标物的属性等

16、图像数据标注角色

在图像数据标注中，用户的角色主要可以分为三类，分别是标注员、审核员和管理员。标注员负责对图像数据进行标注，通常由经过专业培训的人员来担任，在一些需要特定背景或对标注质量要求非常高的任务中，如医疗图像数据的标注中，也会由具有专业知识的领域专家来担任。审核员负责对标注好的数据进行审核，完成数据校对及审核，适时对标注中存在的错误和遗漏进行修改与补充，这个角色通常由具有丰富经验的标注人员来担任。管理员负责对相关人员进行管理，并对标注任务进行发放及回收。

16、关键点标注

人脸关键点标注

人体18点关键点标注案例：

标注规范:对人体进行18点关键点标注时，每个关键点定位为对应区域的中心点。每个人体关键点有三种状态:可见、遮挡以及不在图内。遮挡点，需要预估标注;不在图内(或严重遮挡，看到关节)的点，需要标注为跳过点。戴帽子、手表、表环、护腕、外衣绑在腰上都为可见点。精度要求:点位置误差区间x、y方向均为2个像素以内，超过3个像素记为错误标注。

验收规则:关键点标注准确率以人像为单位，标注准确率95%以上。

标注输出:原图+JSON+效果图。

注意事项:

(1)如一个部位被遮挡大于 2/3的情况下，是以可见的一小部分标可见点;(2)女性扎吊辫的情况下头顶的点是以头顶最高点标注;

(3)标注在头顶位置，而非发髻最高点;

(4)戴帽子、手表、表环、护腕、外衣绑在腰上以可见点标注;

(5)图片外这种完全不可估计的，直接是(0.0.0)，如果在图像中并受遮挡且遮挡较少可以预估的，标为(xy,0)。

17、视频标注内容和目的

视频数据标注的目的是对场景中活动目标的位置形状、动作、色彩等有关特征进行标注;提供大量数据供跟踪算法使用，从而实现对场景中活动目标的检测、跟踪、识别，以及进一步的行为分析和事件检测。

18、语音标注技术

智能语音处理技术有身份识别、语种识别、语音识别、情感识别、语音分离、语音合成等方向。

19、语音数据异常现象种类

丢帧，切音，吞音，喷麦，重音，空旷音，混响

20、语音数据标注工具

Praat，数加加

21、文本数据标注类别

文本数据标注分为序列标注、关系标注、属性标注和类别标注等类型。其中，序列标注包括分词、实体、关键字、韵律、意图理解等;关系标注包括指向关系、修饰关系、平行语料等;属性标注包括情感标注、文本类别、新闻、娱乐等。类别标注包括篇章级的阅读理解等。

意图理解数据就是搜集各种用户的问法，然后按领域分类，标记每句话所属的意图以及槽位、槽值。领域是一个大分类，例如，智能音箱的领域有天气、音乐、戏曲、新闻、电台提醒、控制命令、交通、美食、百科等。意图代表客户明确要问的事情，如“天气”领域里有“查询天气”“查询气象-雨”“查询气象-雾”“查询气象-气温”等意图。

22、文本数据标注应用场景

应用类型主要有语义识别、实体识别、场景识别、情绪识别以及应答识别等。

23、文本数据标注工具

常用的开源文本标注工具包括 doccano、YEDDA、BRAT、IEPY、DeepDive等。

24、序列标注案例

1.项目背景

随着外卖行业的飞速发展，点外卖成为一种时尚潮流，越来越多的上班族已经习惯用点外卖的方式解决一日三餐。顾客在点外卖时，考虑的第一个问题是要买什么，即商品的类别是什么;第二个问题是商品的品牌是什么、规格怎样;第三个问题是顾客本身对某些特定产品的偏好。而商家在接到顾客的外卖订单时，考虑的第一个问题是顾客的需求如何，应该提供什么样的商品;第二个问题是顾客的位置，如何给顾客送达。

2.标注目的

标注结果用于训练外卖成分识别模型，优化来自外卖意图的召回和排序效果

3.标注规范

(1)需要在句中划词并选择标签;标注人员需要对用于搜索的意图进行推断，确定查询词的边界以及对应的成分类型;对于模糊查询，需要借助搜索引擎来判断查询的意图;如果存在多种分析结果，就填写多次，按粗粒度、细粒度顺序填写。

(2)需要标记去掉品牌和属性后剩下的具有独立语义的商超词。

(3)含有属性词的商品，若该表达不是固定词汇或具有同义表达，需要切分出属性词;多个商品组合且有描述关系，则描述词应当标为属性-商品描述;服务类词汇应标为属性-用户需求。

(4)较长商家名中含有的描述词汇，具有限定意义的应标为属性;去掉不影响商家名的，应标记为无效词 NA。

(5)品牌仅限于商超品牌，其他POI(Point ofInformation)相关均为商家。同是商超品牌也是商家的词，需要根据上下文查询意图判断，模糊不清难判断的应同时标注商家和品牌。

(6)品类定义为泛词，通常用来表征多类商品，如“儿童用品”包含玩具、衣服、食品等多种类别。能明确归类的商品都不算品类，如“鲜花”:主观判断模糊难以区分的，应同时标记“品类”以及“商品”标签。

(7)商品和商家/品牌存在重合，可根据查询意图区分。(8)地址和商家/品牌重合部分，若分割后不影响商家/品牌独立性的可分割;地址和商品重合部分，若分割后商品为独立实体，应尽量分割。若难以判断，界线模糊，优先拆分地址。

(9)药品名通常为专有名词，若能够独立准确表达特定药品，应标为商品不切分;若包含品牌且切分品牌后仍可表达该商品，应切分品牌;若包含属性且切分属性后仍可表达该商品，应切分属性。

4、标注流程

25、三维数据标注之3D点云数据标注

随着自动驾驶、智能安防、人脸支付、增强现实和城市规划等领域的发展，三维数据标注的需求逐渐增大。

点云的获取方式：双目视觉传感器，激光雷达，深度体感设备

应用：三维重建，三维同步定位，三维目标检测，三维语义分割(医学自动驾驶)

26、自动驾驶3D点云标注规范

标注框规范

标注框需要6个面都贴合雷达点，不能出现漏点。同时，标注框需要结合俯视、后视侧视这三个视角进行判断，否则单一视角可能会存在误判。

俯视视角:判断车辆的角度、标注框是否歪斜。

后视视角:判断车辆的顶部、底部、左面和右面是否出现漏点和标注框不贴合。

侧视视角:判断车头、车尾、车顶和车底部是否出现漏点和标注框不贴合。

类别规范

3D 点云需对目标对象的类别进行标注，包括车辆、公交、卡车、摩托车、行人、骑车人莞类别可自定义。

车辆(Car):指运载少量人员的乘用车，如轿车、SUV、出租车等公交(Bus):指承载12人以上的乘用车。

卡车(Truck):指运载货物的车辆，根据运输的货物不同，卡车的形状大小会有变化。

摩托车(Moto):指两轮摩托车。

行人(Pedestrian):指出现在3D点云中的人员。

骑车人(Rider):指乘坐任何个人移动设备如自行车、踏板车等的人员。

其他(Misc):指不属于上述类别的其他车辆。

属性规范

3D点云需对目标对象的属性进行注释，包括标注框的方向、大小、遮挡、截断、离开属性，以及目标对象的运动状态、TOS 属性等。

方向即目标对象前进的方向，如能够根据条件判断方向的需要标注方向，点云中无法辨别方向的行人、自行车、摩托车、树干、杆状物、障碍物等不需要标注该属性。大小是指标注框的大小。所有目标对象都有默认且固定的长、宽、高，标注时不需要额外定义它的长、宽、高，保持一致即可。常见的标注框大小为:

(1)大型卡车Truck(big):长7m/宽 2.5m/高 3m;

(2)中小型卡车Truck(small/bongo)(小型/小型):长5.1m/宽 1.8m/高2m:

(3)公交车Bus:长8.5m/宽2.3m/高3m;

(4)车辆Car:长5m/宽1.8m/高1.5m;

(5)摩托车Moto:长 2.1m/宽1.0m/高 1.5m;

(6)骑车人Rider:长2.1m/宽0.5m/高1.5m;

(7)行人Pedestrian:长0.5m/宽0.5m/高 1.7m。遮挡是指目标对象被其他目标对象遮挡的程度。根据遮挡百分比选择，包括无遮挡(默认)、部分遮挡(小于50%)、大部分遮挡(大于50%)和全部遮挡。截断是指出现在点云边缘的目标对象。

离开是指目标对象离开点云视野时标注为离开。当后续帧中出现该目标对象时则需重新标注该目标对象。

运动状态包括移动(Moving)、静止(Stationary)两种。

注意：不需要对每一个有雷达点的物体进行注释。标注对象选择的主要标准为是否影响采集车的行驶路径，或者是否存在碰撞的可能性。橙色:需要标注;灰色:不需要标注。

27、数据标注项目实施流程

项目启动和准备阶段的主要工作包括:汇总现阶段所有问题，并一一进行确认;制订项目具体实施计划;准备项目所需环境和资源，包括软件和硬件环境，以及所需人力资源;进行相关培训;召开项目启动会。

28、数据标注项目需求案例

29、数据标注团队组织架构

30、数据标注团队角色分工

a.项目经理

项目经理是整个数据标注项目的领导者，负责整个项目的全过程管理，对项目交付的最终结果负责。其主要职责包括:

(1)控制整体项目流程，包括组织项目启动会一制订项目计划一监控项目执行一控制项目变更→组织项目收尾;

(2)解读和确认项目需求，界定项目范围:

(3)制订项目计划，管控项目资源;

(4)任务分配，协调项目组成人员的日常工作;

解决团队成员间争议，确保团队始终目标一致:(5)

(6)把握项目进度、质量与成本间的平衡关系，合理控制项目变更

(7)定期发布项目动态;

(8)能独立完成项目交付文档，汇报项目整体进展，总结项目实践经验;

(9)管理和维护外包资源关系;

(10)有效引导客户需求，并达成客户综合满意度。

b.数据产品经理

数据产品经理负责对项目涉及的数据技术、算法等进行确认和调研，并根据项目业务需求提出项目的数据需求。

按照数据业务分为语音数据产品经理、图像数据产品经理、文本数据产品经理等。下面分别给出语音和图像方向数据产品经理的主要职责。

语音识别产品经理主要职责:

(1)深入了解 ASR、TTS 等语音识别领域的技术现状和趋势;(2)根据技术现状和趋势，规划需要的数据产品;

(3)拟定规划数据的详细制作标准:

(4)了解市场算法，根据算法制定数据需求规则。

图像识别产品经理主要职责:

(1)深入了解和分析人脸、人体、无人驾驶等图像识别领域的技术现状和趋势;(2)根据技术现状和趋势，规划需要的数据产品;

(3)拟定规划数据的详细制作标准;

(4)了解市场算法，根据算法制定数据需求规则。

数据产品经理深度理解项目涉及的数据产品需求，参与项目售前阶段的数据产品评估为平台模板开发提供数据产品需求。

c.资源经理

资源经理提供项目实施所需要的内部基地、外包供应商以及众包人力资源。其主要职责

包括:(1)负责开拓数据采集或标注资源合作商，包括商务谈判、引入平台、日常维护工作:(2)充分了解人工智能数据市场需求，制定合作方案，获取高价值数据资源;(3)充分了解相关项目进展，负责跟进项目所需资源的使用情况，并为项目提供所需要的特殊资源;

(4)承办资源中心经理安排的其他任务。

d.质检员

质检员负责在数据标注过程中对标注数据的质量进行确认。质检员这个角色很多时候由别的角色兼任,实际工作中有时由经过培训的兼职人员、实习生来担任，有时候由项目经理或者项目助理来兼任。其职责主要包括:(1)参加项目质检培训，熟知质检流程和相关操作;

(2)完成派发的质检任务并按照流程反馈质检结果

e.验收人员

验收人员即质量工程师，负责对交付前的数据质量进行确认。比照项目需求，对产出数据进行数据范围、数据质量的最终确认。其职责主要包括:

(1)熟知数据质量要求和评判标准，提前拟定验收标准;

(2)负责质检员培训和答疑，验收项目经理质检合格的数据，并对验收结果负责(3)提前识别项目质量风险并对关键环节把关，对已有质量问题提供改善方案;(4)及时总结质量经验，做好数据质量体系知识积累;

(5)及时完成主管派发的任务并反馈。

f.平台产品经理

平台产品经理在数据标注项目实施过程中，对项目涉及的平台开发需求进行规划和设计。另外，其日常工作中还需对负责的数据标注平台和其他相关产品进行整体规划和优化，以使其在数据标注行业具有领先地位。其主要职责包括:

(1)分析项目需求，基于公司当前产品和平台进行规划和设计;

(2)编写产品需求文档，推进系统开发和上线;

(3)产品需求整体管理，合理安排和推进产品版本迭代;

(4)负责产品内外宣传运营相关网站设计，推进产品运营。

G.平台开发工程师

平台开发工程师负责按照产品经理的设计进行开发和测试，最终提供满足项目所需要的平台、模板及工具。其中的主要岗位包括 Python 工程师、语音识别算法工程师和图像识别算

法工程师。

Python 工程师的主要职责包括:

(1)梳理和解读业务，提供数据层面的问题解决方案;

协助进行数据提取、清洗、转换等处理工作，搭建自动化的数据产品生产线:(2)(3)参与数据处理框架的开发和数据处理平台的建设;

(4)协助开发和维护独立的数据处理工具;

(5)协助优化和标准化数据处理流程，设计及制定可以复用的处理模式。

语音识别算法工程师的主要职责包括:

(1)参与语音识别相关的智能处理服务系统研发;

(2)参与海量语音数据处理、清洗、转换等处理工作;

(3)配合后端开发人工智能数据服务，提供稳定的、高可用性的智能状态转移性 API数据服务。

图像识别算法工程师的主要职责包括:

(1)参与图像语音识别、目标检测、图像分割、视频追踪等智能识别算法研发，并应用到实际产品中;

(2)参与海量图像、视频数据的提取、清洗、转换等处理工作;

(3)配合后端开发人工智能数据服务，提供稳定的、高可用性的智能状态转移性 API数据服务。

H.数据标注员

31、国外数据众包平台

亚马逊机械特克平台，澳鹏平台

32、数据标注质量控制

33、人员分配与任务对接流程

34、数据标注质检点及流程

35、数据标注质检明细

36、进度管理–制定项目计划的步骤

定义活动，排列活动顺序，估算活动持续时间，制定项目进度计划

37、活动之间的关系

1. 在项目管理中，FS代表“Finish to Start”，这是一种依赖关系，意味着一个任务必须在其后续任务开始之前完成。

2. SF指的是“Start to Finish”，这种依赖关系表示后续任务必须在前置任务开始后才能完成。如果前置任务是资源的释放，那么后续任务的完成时间将由资源可用时开始计算。

3. SS是“Start to Start”的缩写，表示两个任务可以同时开始，或者后续任务可以在前置任务开始后的任何时间点开始，不受具体完成时间的影响。

4. FF即“Finish to Finish”，这种依赖关系意味着一个任务的完成是另一个任务完成的触发条件，确保两个任务同时或几乎同时完成。

38、SS和FF的提前量和滞后量

提前量：相对于紧前活动，紧后活动可以提前的时间量。

滞后量：相对于紧前活动，紧后活动需要推迟的时间量。

关于项目进度和质量管理的，下一篇学习

摘自阿里的人工智能训练师+《数据标注工程》书

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。