NLP四大任务:分类、生成、序列标注、句子对标注。
NER:模型 Bi-LSTM-CRF、BERT-CRF
可玩的地方:
- 多特征:ner重底层/句法信息,特征越多越好,字/词/词性/句法/KG 特征等等。
- 多任务:嵌入到更大的系统目标中,或者拆为chunk+分类任务。
- 其他:先进的尝试
资料:
NER汇总:
特征抽取器:
- 张俊林:放弃幻想,全面拥抱transformer自然语言处理三大特征抽取器(CNN/RNN/TF) 比较
RNN:线性序列结构,不定长输入、信息由前向后传播、可捕捉长距离特征,但反向传播时梯度消失/爆炸、并行计算能力差。
CNN:卷积核,丢失了输入的位置信息、无法捕捉长距离特征,并行能力中等。
Transformer:多头attention,捕捉长距离特征、位置输入、语义抽取能力√。 - LSTM 网络的原理图解
- 英文版 LSTM原理图解
建议结合实现代码助消化 - TF实现LSTM 例子