![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp knowledge
文章平均质量分 76
hithithithithit
王牌飞行员会损失约11架战机。
展开
-
一文略解参数有效性微调
参数有效性微调(PEFT)是一种在自然语言处理(NLP)领域中广泛使用的技术,它可以在不牺牲性能的情况下,大大减少微调预训练语言模型(PLM)所需的参数数量和计算资源。下面给出这两种方法的实现。本方法旨在不改变模型的参数,在训练时,仅微调模型的部分参数,冻结模型的大部分参数。这种方法通过引入额外的参数,这种额外的引入的参数可能是一些额外的网络层或者是与额外的计算参数。这种方法的核心思想是使用低秩矩阵来重参数化模型网络权重的方法,简单点来说是保证模型参数不动,通过引入新的网络层来对网络参数进行优化。原创 2023-08-24 16:26:48 · 396 阅读 · 0 评论 -
文本生成不同解码方法的具体实现
为此束搜索被提出来解决这个全局优化的问题,该算法在生成下一个单词的时候,会生成K个候选词,然后在这个基础上继续进行K个候选词的选择,最后在全局的基础上选择一条概率最大的路径。对于上面的方法,还可以对可能的词进行百分比的随机抽样,即采样最可能的词的概率(个人认为是对词的可能性/概率进行排序,然后只对前百分之多少的词进行采样)对于随机生成的句子,乍一看没问题,但是读起来很不合理,所以对于随机采样,我们尽可能地采样概率较高的词,而减少低概率词地采样。,在这个过程中,第n个词是前n-1个词预测的概率最高的词。...原创 2022-08-12 22:30:08 · 732 阅读 · 0 评论 -
T5:Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(万字长文略解T5)
迁移学习就是模型先在一个数据丰富的任务上进行预训练,然后再在下游任务上进行微调。最近迁移学习在NLP中是一个很有力的技术。在本文中,我们通过介绍一个将基于文本的问题转换成文本到文本的统一框架,从而开发迁移学习在NLP中的应用。...............原创 2022-08-09 19:55:41 · 1316 阅读 · 0 评论 -
Meta-Learning and in-context Learning
假设有一系列任务{a,b,c,d,e},元学习首先在基础的任务a上进行学习,然后通过a的经验训练任务b,以及类推,如果学习这几个任务学习完了以后,有新任务达到的话,接着通过前面的经验学习新的任务(只需要少量样本),注意学习新任务的时候是在新的结构上学习的,之前学习任务的结构和权重并没有被抛弃,仍然被保留下来,所以在学习新任务的时候仍然没有忘记之前学习到的知识。普通的迁移学习指的是,通过一个预训练过后的模型,根据下游任务的不同,模型可以通过微调来处理各种各样的任务。大家适当理解,可能有不对之处。......原创 2022-08-04 15:51:11 · 1831 阅读 · 0 评论 -
SCIERC语料格式解读
一、观察语料二、利用下面的代码将语料打印出来三、解读由上面打印的信息可知,句子对就是文档中的句子,这里是以列表的形式给出来的。实体信息就是实体在前面文档的中(起始位置,终止位置,实体类型)三部分构成。关系对以(主体起始位置,主体终止位置,客体起始位置,客体终止位置,关系类型构成)五个部分构成。最后的集群指的是同一个指代的实体在文章中出现的不同位置,已用(起始位置,终止位置)的形式给出。原创 2022-05-31 23:22:08 · 534 阅读 · 0 评论 -
句法结构解析和Transition_based方法
句法结构解析(Linguistic Structure Parsing):包括选区分析(Constituency Parsing)和依赖解析(Dependency Parsing).选区分析(Constituency Parsing)将句子用phrase structure grammer即短语语法,来不断的将词语整理成嵌套的组成成分,又被称为context-free grammers,简写做CFG。主要思想是将句子从单词划分类别到组成更大的短语。依赖解析(Dependency Parsi.原创 2022-04-23 23:54:51 · 321 阅读 · 0 评论 -
character embeding 和 word embeding的区别
character embeding是将单词的字符当成一个序列,然后经过cnn或rnn模型训练得到的一个字符向量。 word embeding是一个经过预训练得到的词向量。原创 2021-10-29 15:00:00 · 435 阅读 · 0 评论