学习笔记-序列标注的分词方法

1、序列标注任务

1.1和分类任务的区别：分类任务单标签、序列标注是分类任务在序列数据上的延伸

 

1.2用序列标注表示分词

分词前：昨天，小明在北京大学的燕园看了中国男篮的一场比赛

分词后：昨天 ， 小明 在 北京大学 的 燕园 看 了 中国男篮 的 一场 比赛

 

B表示一个词的开始；M表示中间位置；E表示一个词的结尾，S表示单个词

1.3序列标注的演化

HMM----> CRF-----> BiLSTM-CRF-----> BERT-CRF

特征提取逐渐变强

HMM当前标签仅与当前输入相关；（独立输出假设）

CRF当前标签与附近一些输入（仅限于10个字左右）相关

BiLSTM-CRF通过双向LSTM，拥有长短期记忆，可以捕获更长的长上下文

Bert-CRF通过Transformer，在捕获更长的上下文时，还可以聚焦一些更重要的信息

2、条件随机场CRF

2.1原理图