自然语言处理 -- NLP作业 2 ：序列标注、命名实体识别

目录

命名实体识别

Bi-LSTM

CRF条件随机场

代码

---

命名实体识别

说到命名实体抽取，先要了解一下基于字标注的中文分词。比如一句话

"我爱北京天安门”。

分词的结果可以是

“我/爱/北京/天安门”。

那什么是基于字标注呢？

“我/O 爱/O 北/B 京/I 天/B 安/M 门/I”。

就是这样，给每个字都进行一个标注。我们可以发现这句话中字的标注一共有四种。他们分别代表的意义如下。

B | 词首 M | 词中 I | 词尾 O | 单字

B 表示一个词的开始，I 表示一个词的结尾，M 表示词中间的字。如果这个词只有一个字的话，用 O 表示。

教程：

零基础入门--中文命名实体识别

Bi-LSTM + CRF

Long ShortTerm 网络——一般就叫做LSTM——是一种RNN特殊的类型，可以学习长期依赖信息。当然，LSTM和基线RNN并没有特别大的结构不同，但是它们用了不同的函数来计算隐状态。LSTM的“记忆”我们叫做细胞/cells，你可以直接把它们想做黑盒，这个黑盒的输入为前状态和当前输入。这些“细胞”会决定哪些之前的信息和状态需要保留/记住，而哪些要被抹去。实际的应用中发现，这种方式可以有效地保存很长时间之前的关联信息。

LSTM有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个sigmoid神经网络层和一个pointwise乘法的非线性操作。

如此，0代表“不许任何量通过”，1就指“允许任意量通过”！从而使得网络就能了解哪些数据是需要遗忘，哪些数据是需要保存。

教程：

如何从RNN起步，一步一步通俗理解LSTM

利用pytorch简单实现LSTM