整个世界正充斥着各种各样的数据,仅仅在2018年,就产生了超过30ZB的数据。
任何一个AI项目中,对专业人员来说,数据的好坏都是一个非常关键的部分。
有时候,我们项目所需要的数据根本就不存在,另外一些时候,这些数据是存在的,但是我们无法获取 — 比如被竞争对手所垄断。当然,还有时候,我们可以获取到数据,但是这些数据却不能直接拿来被我们使用,本文就讨论在这种情况下我们该如何处理。
什么是数据标注?
现如今,大量的数据并不少见,但若你想拿他们来训练Machine Learning和Deep Learning的model,就需要对这些数据进行处理,让他们可以被用来部署,训练和调试对应的Model。Machine Learning和Deep Learning的Model需要大量的被仔细标注过的数据进行训练。而这个对原始数据进行处理和准备的过程我们就称之为数据的标注(Labeling)或者数据注解(Annotation)。AI分析公司Cognilytica的数据显示,对数据相关的处理消耗了整个AI项目的超过80%的时间(如图红色数字所示):
如何进行数据的标注?
一个公司或组织所拥有的数据大部分都是没有被标注的,而标注数据是AI工作或者项目的基础。
标注数据:为特定model进行数据的标注和注解,以便这些数据可以被用来预测。通俗地讲,数据标注包括数据的标志,注释,调节&#