序列标准指的是给定输入序列,给序列中每一个Token进行标注标签的过程,序列标注问题通常用于从文本中进行信息提取,包括分词,词性标注,命名实体识别等等。
对序列进行注,实际上是对序列中的每个Token进行标签预测,可以直接是做简单的多分类问题。但是序列标注不仅仅需要对单个Token进行分类预测,同时相邻Token直接有关联关系。
Normalizer是X对应的所有可能的输出序列的Score的对数指数,此时如果按穷举法进行计算,则需要将每个可能的输出序列都计算一遍。这里我们采用动态规划算法,通过复用计算结果来提高效率。