抽取用于实体分类的包含上下文的文本信息

paper：Bidirectional LSTM-CRF Models for Sequence Tagging

16年的paper算是首篇把BiLSTM-CRF用于NER任务的尝试。Bilstm的存在是提取双向文本信息。和多数文本任务一样，如果想要speed up训练速度会考虑用CNN来替代RNN，想要捕捉kernel_size长度之外的信息，可以尝试stack-CNN或者拼接不同长度kernel_size的CNN。当时这些都是SOTA级别的模型，不过放在BERT出世后的今天，bilstm/cnn作为文本上下文信息提取的作用究竟还有多大嘞？

我简单比较了Bert-bilstm-crf，Bert-cnn-crf和Bert-crf在msra和people_daily数据集上的效果。在msra上确实有提升，不过在people daily上Bert-crf效果最好。整体上感觉bert把需要的信息都做了提取，bilstm只是选择性从中挑选有用的信息做整合，所以增益并不是很大。如果你的标注数据很少，或者对预测latency有要求，Bert-crf可能更合适些。