经常听到一些朋友说用CRF(conditional random field algorithm)做命名实体识别,但绝大多数都是调用CRF++包,然后自己只是构造一些特征,然后就是几个命令行执行下而已,最近又有朋友经常问CRF是如何命名实体识别的,今天我就结合实例把CRF预测的过程来进行下解释,有不对的地方欢迎拍砖,算是抛砖引玉吧。
本专题是建立在CRF模型已经训练的基础上的,如果有需要下个专题可以介绍下训练的原理及过程。
通常CRF的命名实体序列标注任务中标签有B、E、M、S四种,本专题模板采用的是 : U0:%x[-1,0] U1:%x[0,0] U2:%x[1,0] U3:%x[-1,0]%x[0,0]
U4:%x[0,0]%x[1,0] U5:%x[-1,0]%x[1,0]
使用案例是“维斯塔斯风车着火了”
首先对“维”进行特征函数计算:
可以看出当前token是“维”,通过模板特征函数得到该矩阵,然后对该矩阵的各个列进行求和结果如下:
其他字符的特征计算过程都是一样的,在此就忽略过程,矩阵DotMatrix结