![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AllenNLP
文章平均质量分 86
六神就是我
万物不仁,天地为刍狗
展开
-
AllenNLP框架学习笔记(数据篇之tokenizers)
tokenizers是数据模块中的一个子模块,在里面主要包含了token与tokenizer的定义和使用,现在做一个简单的介绍,描述字符串是如何载入到TextFields中的。Token简单的token抽象,其属性包括文本,偏移量,pos tag,依存关系等,tokenizer的输出被定义为一连串(list)的Token。Tokenizer分词器类,Tokenizers将字符串分割成独立的token,如果需要自己定义一个分词类的话,通过重写其tokenize方法便可以实现,可分为word-lev.原创 2021-04-24 18:11:10 · 1698 阅读 · 2 评论 -
AllenNLP框架学习笔记(模型篇之初始化与正则化)
初始化在某些情况下,用户想以特定方式初始化模型参数(例如,使用Xavier方法初始化)。不用担心, AllenNLP在包含初始化逻辑的模型构造函数中提供了一种方便的抽象方法,该方法使得基于regex匹配的参数名应用到特定的初始化变得简单。为了初始化单个模型参数,可以在AllenNLP中使用Initializers,Initializers基本上只是Python方法,它们接受张量参数并对其应用一些特定的操作。在大多数情况下,它们只是PyTorch的initializers(在torch.nn.init中的原创 2021-03-24 20:44:02 · 381 阅读 · 2 评论 -
AllenNLP框架学习笔记(模型篇之保存与加载)
通常,用户想在磁盘上保存并加载经过训练的模型。这就是使用AllenNLP的配置文件非常有用的地方,因为加载模型所需的所有内容,包括权重、配置和词汇表,都可以存储在单个tar文件中。在本章中,将介绍三种对模型进行保存与加载的方式。手动保存与加载为了正确地保存和加载AllenNLP模型,我们一般需要有如下文件:模型配置(用于训练模型的规范)模型权重(模型的训练参数)词汇表在AllenNLP中,模型配置由Params类管理,可以使用to_file()方法保存到磁盘。用户可以使用model.st.原创 2021-03-13 11:01:26 · 1600 阅读 · 0 评论 -
AllenNLP框架学习笔记(模型篇之一)
通常,模型在AllenNLP和NLP应用程序中起着核心作用。它们实现将输入转换为输出所执行的计算,并保留通过训练得到优化的参数。在本节中,我们将深入探讨AllenNLP模型的内部工作原理,并提供有关的深入指南。Model 与 Model.forward()AllenNLP使用Model类来实现NLP模型。Model的子类是torch.nn.Module,这意味着每个AllenNLP模型也是一个PyTorch的Module,用户可以将其用作其他任何PyTorch模块,例如,调用模型(调用__call .原创 2021-02-18 20:17:06 · 716 阅读 · 0 评论 -
AllenNLP框架学习笔记(数据篇之二)
本篇对AllenNLP中关于数据中的 Datasets,vocabulary,DataLoader,sampler做简单的介绍。Datasets数据集被表示为AllennlpDataset对象,是instance集合的一个简单封装,并且与PyTorch的Dataset基本上相同,不同之处在于它还支持某些额外的功能,例如词汇索引。 AllenNLP的DatasetReader在完成读取数据集后返回AllennlpDataset()或者AllennlpLazyDataset()。Vocabulary.原创 2021-02-06 11:00:35 · 897 阅读 · 0 评论 -
AllenNLP框架学习笔记(数据篇之一)
本文对AllenNLP中关于数据的基本概念 Fields,Instances做一个简单的介绍,同时对Dataset readers类做较为详细的介绍。Fields 与 InstancesFields,即字段, 是Instances的组成部分,在将字段转换为ID并进行批处理和填充后,它们会作为输入或输出转换为模型中的张量。AllenNLP中有多种类型的字段,具体取决于它们表示的数据类型。其中,最重要的是TextFields,它代表一段分词后的文本,这个在后续章节中将会详细描述。其他常用字段类型包括.原创 2021-01-30 13:42:39 · 1287 阅读 · 2 评论 -
AllenNLP框架学习笔记(入门篇)
最近接触到一个很棒的自然语言处理工具——AllenNLP,解决了很多在自然语言处理过程中遇到的痛点问题,开发这个工具也是鼎鼎大名的A2I实验室,然后就去拜读了他们在github上分享的文档(当然,对于本英语渣来说,如果不是中文资料实在是比较少,是不会开启左百度右谷歌模式的),发觉这个框架!真tm棒!后面在打造自己的工作箱时,越发觉得allennlp的工程思维值得每个nlper学习,因此决定深度去阅读其中优雅的代码以及官方文档,并将其记录下来。为什么值得研究工欲善其事,必先利器。在进行自然语言处理的过.原创 2021-01-25 19:20:02 · 2799 阅读 · 9 评论