标注模型用于处理有前后关联关系的序列问题。在预测时,它的输入是一个观测序列,该观测序列的元素一般具有前后的关联关系。它的输出是一个标签序列,也就是说,标注模型的输出是一个向量,该向量的每个元素是一个标签,它们与输入序列的元素一一对应。标签的值是有限的离散值。
标注任务
记输入的序列为x=(x^(1),x^(2),…,x^(n)),输出的标签序列为y=(y^(1),y^(2),…,y^(n))。
标注任务分为学习过程和标注过程。
可完成标注任务的模型有概率模型和神经网络模型两类。
概率模型在学习过程学习到从序列x到序列y的条件概率:
概率模型在标注过程按照学习得到的条件概率分布模型,以概率值最大的方式对新的输入序列找到相应的输出标签序列。
具体来讲,就是对一个输入的测试序列x=(x^(1),x^(2),…,x^(n))找到使条件概率P ̂(y^(1),y^(2),…,y^(n)|x^(1),x^(2),…,x^(n))最大的标记序列y ̂=(y ̂^(1),y ̂^(2),…,y ̂^(n))。
神经网络模型在学习过程建立起能正确反映从序列x到序列y的映射关系的神经网络N(S,W),并在标注过程将测试序列x=(x^(1),x^(2),…,x^(n))馈入神经网络,得到输出序列y ̂=(y ̂^(1),y ̂^