GPlink进行关系抽取流程梳理

本文介绍了使用BERT进行文本处理的方法,包括读取文本、tokenizer计算特征、构建网络结构(如GlobalPointer和实体/关系网络),通过稀疏交叉熵和BertAdam优化进行模型训练。文章详细描述了训练过程中的迭代、模型评估以及最终的模型推理步骤,强调了精准率、召回率和F1-score的评估指标。
摘要由CSDN通过智能技术生成

  1. 载入数据,读取文本和spo标签内容;

  2. 解析spo标签

  3. 方法

1)读取输入的文本内容,对其进行tokenizer计算,产出计算特征;

2)对语料进行shuffle

3)计算label

4)计算schema

5)定义网络

     定义GlobalPointer,创建实体网络、关系头网络、关系尾网络;

6)稀疏交叉熵计算损失值使用BertAdam进行优化。

4.迭代训练

批量计算损失值,并反向传播,优化,存储模型。

5.模型评估

遍历训练过程生成的模型,加载模型,对评估文本计算推理结果;比对推理结果和实际结果,产出精准率、召回率和F1-score值。

选择评估结果最优的模型,其它模型删除。

6.模型推理

1)读取输入的文本内容,对其进行tokenizer计算特征;

2)载入模型,前向计算,产出计算结果;

3)结果推理

4)对产出的结果进行封装;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值