这里写目录标题
论文资源在这里
基于自然语言处理的产业链知识图谱构建_毛瑞彬(2022 情报学报)
chap1 面向产业链知识图谱构建的自然语言处理
BERT模型
BERT采用Transformer编码器作为模型主体结构,完全基于多头注意力机制实现语言建模:
Self-Atten‐tion 的
Q (query)、K (key) 和 V (value) 三个矩阵
均来自同一输入,先计算 Q 与 K 之间的乘积,再除
以尺度标度 dk;其中 dk 为一个 query 和 key 向量的
维度,利用 Softmax 操作将其结果归一化为概率分
布,再乘以矩阵 V 就得到权重求和的表示。
Multi-Head 将一个词的向量切分成 h 个维度分别计算自注意力 (Self-Attention) 进行拼接,各维度的注意力计算参数并不共享
chap2 在中文维基百科语料( BERT Base 语言模型)的基础上增加了金融领域语料,本文提出了预训练领域语言模型
基于 BERT 和领域知识的多头选择算法
1)Pre-training 层和 Fine-tuning(微调) 层:
获取输入文本的 token 向量表示,把 token 的向量表示输入 BERT 模型进行调优
2)NER(Named Entity Recognition ) 层:
对微调层 token 输出计算 NER 每个标签的得分,对预测标签序列线性链 CRF 得分进行优化,使得预测的标签序列正确概率最大