知识图到文本的生成（四）

最新推荐文章于 2024-09-13 18:11:35 发布

Aurora…

最新推荐文章于 2024-09-13 18:11:35 发布

阅读量246

点赞数

文章标签： python 开发语言后端

本文链接：https://blog.csdn.net/m0_47381222/article/details/121081029

版权

本文详述了vectorize.py中如何构建词汇表。定义了INP, OUTP, TGT三个Field对象，用于顺序数据，设置初始和结束令牌。RAWField对象ENT和REL是非目标类型。TabularDataset创建训练数据集，打印'building vocab'表示准备就绪。" 107445302,9896099,Java实现简单银行系统教程,"['Java', '编程', 'switch', '系统设计', '基础教程']

摘要由CSDN通过智能技术生成

2021SC@SDUSC

本文将对vectorize.py中如何产生向量部分的代码进行详细分析

def mkVocabs(self,args):
args.path = args.datadir + args.data
self.INP = data.Field(sequential=True, batch_first=True,init_token="<start>", eos_token="<eos>",include_lengths=True)
self.OUTP = data.Field(sequential=True, batch_first=True,init_token="<start>", eos_token="<eos>",include_lengths=True)
self.TGT = data.Field(sequential=True, batch_first=True,init_token="<start>", eos_token="<eos>")
self.ENT = data.RawField()
self.REL = data.RawField()
self.REL.is_target = False
self.ENT.is_target = False
self.fields=[("src",self.INP),("ent",self.ENT),("rel",self.REL),("tgt",self.TGT),("out",self.OUTP)