LSTM+CRF序列标注学习总结
概述
序列标注是为输入序列中的每个Token分配标签的过程,广泛应用于信息抽取任务。这些任务包括分词、词性标注和命名实体识别(NER)。例如,在NER中,输入序列可能是“清华大学在北京”,输出序列为标签,其中“清华大学”与“北京”都是地名。
使用的标注方法通常为“BIOE”标注法:
- B:实体的开始
- I:实体的内部部分
- O:非实体
例如:
输入序列 | 清 | 华 | 大 | 学 | 在 | 北 | 京 |
---|---|---|---|---|---|---|---|
输出标注 | B | I | I | I | O | B | I |
条件随机场 (CRF)
在序列标注中,除了对每个Token进行独立的分类预测,还需要考虑相邻Token之间的依赖关系。条件随机场(CRF)作为一种有效的概率图模型,能够处理这种依赖性。
CRF的工作原理
- 输入:给定一个输入序列 ( x = {x_0, x_1, …, x_n} ) 和对应的标签序列 ( y = {y_0, y_1, …, y_n} )。
- 概率计算:输出序列的概率通过发射概率和转移概率两部分进行计算:
- 发射概率 ( \psi_{\text{EMIT}} ):表示每个Token映射到标签的可能性。
- 转移概率 ( \psi_{\text{TRANS}} ):表示标签之间的转换概率。
结合上述概率可以得到:
Score
(
x
,
y
)
=
∑
i
log
ψ
EMIT
(
x
i
→
y
i
)
+
log
ψ
TRANS
(
y
i
−
1
→
y
i
)
\text{Score}(x, y) = \sum_i \log \psi_{\text{EMIT}}(x_i \rightarrow y_i) + \log \psi_{\text{TRANS}}(y_{i-1} \rightarrow y_i)
Score(x,y)=i∑logψEMIT(xi→yi)+logψTRANS(yi−1→yi)
参数化形式
CRF的输出概率通过以下公式计算:
KaTeX parse error: Expected 'EOF', got '}' at position 88: …Score}(x, y')}}}̲
该公式的目标是最大化正确标签序列的概率,同时最小化错误标签序列的概率。损失函数选择负对数似然(NLL):
Loss
=
−
log
(
P
(
y
∣
x
)
)
\text{Loss} = -\log(P(y|x))
Loss=−log(P(y∣x))
计算得分与Normalizer
- 得分计算:根据公式计算正确标签序列的得分,同时维护转移概率矩阵和开始、结束标签的概率。
- Normalizer计算:使用动态规划计算所有可能输出序列的得分,以提高效率,避免穷举法带来的高计算成本。
Viterbi算法
在解码阶段,使用Viterbi算法寻找最优的标签路径。动态规划方法记录每个Token的最佳标签,并通过回溯获得最终的预测序列。
CRF层构建
将前向训练逻辑和解码逻辑整合成CRF层,考虑到输入序列的真实长度,确保处理填充问题。输入参数包括发射概率矩阵、转移概率矩阵和序列长度。
BiLSTM+CRF模型
设计一个结合双向LSTM与CRF的模型架构来进行命名实体识别任务。模型流程如下:
- 嵌入层:将输入Token转化为向量表示。
- LSTM层:提取序列特征,双向LSTM能够捕获前后文信息。
- 全连接层:生成发射概率矩阵。
- CRF层:对发射概率进行标注,考虑Token间的依赖关系。
训练过程
- 数据准备:生成示例数据并构造词表和标签表。
- 模型实例化:选择优化器并将模型与优化器结合。
- Batch处理:将生成的数据打包为Batch,处理填充后进行模型训练。
- 可视化训练进程:使用工具监控训练过程,观察模型效果。
训练效果分析
在完成500个训练步骤后,利用模型预测可能的路径得分和候选序列。通过后处理函数对预测得分进行处理,最终将预测的索引序列转换为标签序列,打印输出结果以查看模型性能。
通过这些步骤,LSTM+CRF模型能够有效地进行序列标注,应用于多种文本处理任务,如命名实体识别、信息抽取等。