spacy依存分析模型

这篇博客讲述了如何利用spacy和PyTorch训练一个依存分析模型,以识别人物关系。首先介绍了题目要求,然后展示了数据集,并详细解释了数据集处理,特别是中文依存分析的标注方式。接着,博主分享了训练模型的步骤,包括导入包、设置模型参数和建立模型。最后,进行了模型测试并给出了测试结果。
摘要由CSDN通过智能技术生成

一、题目要求

  • 根据提供的spacy/pytorch(任选其一)代码和依存分析的内容训练一个可以判断人物关系的依存分析模型。

二、数据集展示

  • 训练集数据如下:
    在这里插入图片描述
  • 测试集数据如下:
    在这里插入图片描述

三、数据集处理

  • 依存句法通过分析语言单位内成分之前的依存关系解释其句法结构,主张句子中核心动词是支配其他成分的中心成分。而它本身却不受其他任何成分的支配,所有受支配成分都以某种关系从属于支配者。
  • 为了方便后续模型的训练,现在需要对训练集进行标注。中文依存分析的标注关系如下:
    在这里插入图片描述
  1. 房祖名是成龙的儿子为例,需要将该句子标注成以下形式:

在这里插入图片描述

  1. 构建TRAIN_DATA 如下(以房祖名是成龙的儿子为例):
TRAIN_DATA = [
    ("房祖名 是 成龙 的 儿子", {
   
        'heads': [1,1,4,3,1],
        'deps': ['nsubj','ROOT','amod','prep','pobj']
    })
]

四、训练模型

4.1 导入包

  • 导入所需要的包。
from __future__ import unicode_literals, print_function

import plac
import random
from pathlib import Path
import spacy
from spacy.training import Example
from spacy.pipeline.dep_parser import DEFAULT_PARSER_MODEL

4.2 模型参数的注解(语种、输出目录以及训练迭代次数)

@plac.annotations(
    model=("Model name. Defaults to blank 'en' model."</
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值