自然语言处理中的伪数据 by哈工大教授车万翔

（报告回放https://event.baai.ac.cn/activities/350）

“知识”（广义）的来源：广义的“知识”包括狭义的知识、算法以及数据。

要实现自然语言处理能力的提升，必须有三个广义知识的支撑，即必须有新知识、新算法或新数据的加入。

“伪数据”（Pseudo Data）

伪数据是一种弱标注的训练数据。伪数据虽然有标签，但标签的构造不曾面向所研究的任务进行人工标注，且这种标签不精确，而是样本的近似答案（伪）。获取伪数据主要有三种方法：移植、采集和制造。

1. 移植伪数据

可以分为跨语言、跨领域和跨任务三种类型。

2. 采集伪数据

数据“天然”存在目标任务的标注结果时，可以应用伪数据的采集方法。此时样本就是真实的样本，但获得的标签与真实标签近似。采集可以用来处理如命名实体、词义向量、信息抽取、情感分析等任务。

3. 制造伪数据（数据增广）

即对样本进行编辑操作形成伪数据，编辑的方式主要包括增加、删除、修改。在这种情况下，样本近似于真实样本，