轻松入门自然语言处理系列 自然语言处理基础答疑和案例

前言

本文主要介绍了自然语言处理的基础答疑和案例介绍。

一、在真实的建模场景中，如何能给模型加入先验知识？

在模型中加入人为设计的先验信息，会让模型学习到一些关键的特征，从而会让模型学习得更好，因为机器模型可以结合人类已有的先验知识。

具体包括以下几方面的措施：

• 借助预训练模型
  把网络的weight替换成一个在另外一个任务上pretrain好的模型weight，而不是选择随机权重作为初始权重，例如会使用GloVe来进行初始化，或者使用预训练好的BERT模型的presentation作为初始的presentation。经过的预训练的模型往往已经具备识别到一些基本信息和特征的能力，如对于图片来说就是边缘、纹理、颜色等，对于文字来说就是上下文信息和词义等，而识别这些信息的能力是识别一张图片和理解一段文本的基础，所以可以使用ImageNet预训练之后的结果作为图片的初始的表示。这些获取到的信息本质上也是一种先验知识，可以将这些知识加入到下游的模型中，也就是引入了先验知识中对图片或文字理解的基础。
• 借助输入
  借助输入其实就是借助人类的先验知识。
  对于分类模型，假如其某一部分A是影响分类的关键因素，可以设计两路输入，并最终将两路representation进行concat，以达到既关注整体、又关注局部的目的。例如对于识别猫和老虎的案例来说，对于我们人来说可以借助其脑袋的形状来进行区分，因此可以设计两路输入，一路是完整的图片，一图是脑袋的图片，再将这两路的representation进行concat，然后再进入下游任务。
• 借助模型设计<