bilstmcrf词性标注_BiLSTM-CRF学习笔记（原理和理解）

BiLSTM-CRF学习笔记(原理和理解)

BiLSTM-CRF 被提出用于NER或者词性标注，效果比单纯的CRF或者lstm或者bilstm效果都要好。

1. LSTM

LSTM的原理前人已经解释的非常清楚了：https://zhuanlan.zhihu.com/p/32085405

BiLSTM-CRF中，BiLSTM部分主要用于，根据一个单词的上下文，给出当前单词对应标签的概率分布，可以把BiLSTM看成一个编码层。

比如，对于标签集{N, V, O}和单词China，BiLSTM可能输出形如(0.88,-1.23,0.03)的非归一化概率分布。

这个分布我们看作是crf的特征分布输入，那么在CRF中我们需要学习的就是特征转移概率。

2. CRF

主要讲一下代码中要用到的CRF的预测(维特比解码)

维特比算法流程:

1.求出位置1的各个标记的非规范化概率\(δ_1 (j)\)

$$δ_1 (j)=w∗F_1 (y_0=START,y_i=j,x), j=1,2,…,m$$

2.由递推公式(前后向概率计算)

$$δ_i (l)=max_{(1≤j≤m)} {δ_{i−1} (j)+w∗F_i (y_{i−1}=j,y_i=l,x)}, l=1,2,…,l$$

每一步都保留当前所有可能的状态\(l\) 对应的最大的非规范化概率，

并将最大非规范化概率状态对应的路径(当前状态得到最大概率时上一步的状态\(y_i\))记录

\(Ψ_i (l)=arg ⁡max_{(1≤j≤m)} \{δ_{i−1} (j)+w∗F_i (y_{i−1}=j,y_i=l,x)\} =arg max⁡{δ_i (l)}, l=1,2,…,m\)

就是\(P_{ij}\)的取值有m*m个，对每一个\(y_j\)，都确定一个(而不是可能的m个)能最大化概率的\(y_i\)状态

3.递推到\(i=n\)时终止

这时候求得非规范化概率的最大值为

$$max_y⁡{w∗F(y,x)}=max_{(1≤j≤m)} δ_n (j) =max_{(1≤j≤m)}{⁡δ_{n−1}(j)+w∗F_n (y_{n−1}=Ψ_{n−1} (k),y_{i=l},x)}, l=1,2,…,m$$

最优路径终点

$$y_n^∗=arg⁡max_{(1≤j≤m)}⁡{δ_n (j)}$$

4.递归路径

由最优路径终点递归得到的最优路径(由当前最大概率状态状态对应的上一步状态，然后递归)

$$y_i^∗=Ψ_{i+1} (y_{i+1}^∗ ), i=n−1,n−2,…,1$$

求得最优路径：

$$y∗=(y_1∗,y_2∗,…,y_n∗ )^T$$

3. 损失函数

最后由CRF输出，损失函数的形式主要由CR