基于短语的句子学习模型Sentence Representation Learning withGenerative Objective rather than Contrastive Object

最新推荐文章于 2023-09-06 16:25:37 发布
最新推荐文章于 2023-09-06 16:25:37 发布
阅读量378 收藏 1
点赞数 2
分类专栏： 机器学习/深度学习 文章标签： 人工智能 nlp python transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56061892/article/details/127628426
版权
本文提出了一种新的句子表示方法PaSeR，通过短语感知的手段来提升句子表示的质量。利用NLTK和RAKE进行短语提取，通过遮蔽和生成模型学习句子表示，同时应用数据增强技术，如同义词替换、随机删除和标记重排序，提高模型对语义的理解。实验结果显示，这种方法在语义文本相似性和语义检索任务中表现出色。
摘要由CSDN通过智能技术生成
  • BERT的“[CLS]”标记生成的原生句子表示在句子评估基准(如语义文本相似性(STS)任务)上表现非常糟糕。
    • 缺乏有效的自监督句子训练集
    • 通常自监督方法：通过加mask生成，或者对比（NSP）
    • ConSERT标记变换、特征截断
    • SimCSE使用不同 的dropout掩码
  • 自监督学习：支持生成内容选择，效果不错，但在句子方向应用少
    • 现有：句子视为整体，句间不同
    • 本文：句内视角
  • 短语感知的句子表示(PaSeR)：在句子表示中将最重要短语编码

  • 核心方法
    • 短语提取：一个句子句法解析树中的随机子树。通过使用NLTK (Loper and Bird, 2002)，我们可以很容易地提取一个句子的组成部分，包括从句(SBAR)，动词短语(VP)和名词短语(NP)。
    • 统计关键短语提取算法，RAKE (Rose等人，2010)。RAKE首先使用停顿词或标点符号将原句子或文档标记成短语。为了获得每个短语的重要性，RAKE首先构建单词的共现矩阵，并通过其在共现矩阵中的度deg(w)和其在文档或句子中的频率freq (w)计算单词w的重要性。最后，通过对该短语中所有单词的wordScore求和来计算该短语的重要性。（best perform）

     

    • Duplicate and Masking
      • 差分模型：具体来说，对于一个给定的句子s，它由多个短语P = {p0, p1，…， pn}，按RA
最低0.47元/天 解锁文章
宸1
关注
专栏目录
CLEAR: Contrastive Learning for Sentence Representation
Young, Simple, Naive
06-25 645
数据增强+对比学习+MLM
揭秘In-Context Learning(ICL)：大型语言模型如何通过上下文学习实现少样本高效推理[示例设计、ICL机制详解]
丨汀、的博客
06-14 1719
揭秘In-Context Learning(ICL)：大型语言模型如何通过上下文学习实现少样本高效推理[示例设计、ICL机制详解]
sentenceRepresentation
03-06
最好在Markdown阅读器中查看此文件（例如 ） 安装 该分配是在python 3.6和tensorflow 2.0中实现的。 请按照以下步骤设置您的环境： 使用Python 3.6创建Conda环境 conda create -n nlp-hw2 python=3.6 激活Conda环境。 您将需要在要使用此代码的每个终端中激活Conda环境。 conda activate nlp-hw2 安装要求： pip install -r requirements.txt 下载手套wordvectors： ./download_glove.sh 注意：我们将使用此环境检查您的代码，因此请不要在默认或任何其他python环境中使用。 我们在代码中使用了类型注释，以帮助您了解方法签名。 虽然我们不要求您键入注释python代码，但是了解类型可能有助于了解预期的内容。 您可以了解有关类型注
04-Sentence Representation
zzk0126的博客
09-06 131
句子是自然语言中的一个重要的语言单位。句子表示一直是自然语言处理的核心任务，因为在相关领域的许多重要应用在于理解句子，如摘要、机器翻译、情感分析和对话系统。句子表示的目的是将语义信息编码为实值表示向量，并将其用于进一步的句子分类或匹配任务。随着互联网上大规模的文本数据和深度神经网络的最新进展，研究人员倾向于使用神经网络（如卷积神经网络和递归神经网络）来学习低维句子表示，并在相关任务上取得很大的进展。在本章中，我们首先介绍了句子的单热表示和n-gram句子表示（即概率语言模型）。
[NLP论文阅读] Discourse-Based Objectives for Fast Unsupervised Sentence Representation Learning
jx00109的博客
09-14 1230
这篇文章的想法很有意思，为了学习到更好的句子表示，作者没有去设计新的模型来学习句子表示，而是设计了3个预训练目标来预训练已有的句子编码器（Sentence encoder），当模型经过这3个预训练后在针对目标任务进行训练。
《Same Representation,Different Attentions:Shareable Sentence Representation》阅读笔记
新月
12-26 577
之后会不定期分享论文笔记。 摘要 不同的任务句子表示不同，而且句子表示受限于不多的训练数据。论文提出一个橘子表示的模型可以用于多种任务。所有任务分享相同的句子表示，每个任务可以从共享的句子表示中利用attention机制抽取任务特定的信息。每个任务注意力机制的问题向量可以是静态的参数也可以是动态的。论文在16个不同的文本分类任务中做实验，并取得了很好的效果。 背景 词向量在多个任务中已经有...
Simple Contrastive Representation Adversarial Learning for NLP Tasks
红酒暖心不暖胃
12-24 2114
这里写自定义目录标题论文目的相关工作contrastive learningAdversarial Training and Adversarial Attack本文方法Adversarial Training And Adversarial Attack MethodsSelf-supervised Contrastive LearningSupervised Contrastive Adversarial LearningUnsupervised Contrastive Adversarial Lear
基于Sentencepiece和Bert Tokenizer的GPT2-Chinese中文模型训练设计源码
最新发布
10-02
该项目提供基于Sentencepiece和Bert Tokenizer的GPT2-Chinese中文模型训练源码，包含42个文件，涵盖9个Python脚本、8个PNG图像、6个文本文件、5个JSON、5个JPG、3个Shell脚本、1个Git忽略规则文件、1个许可证文件、1...
SimCSE: Simple Contrastive Learning of Sentence Embeddings
红酒暖心不暖胃
12-24 1821
论文目的 SimCSE:simple contrastive sentence embedding framework 首先提出一种无监督的方法，仅使用dropout作为噪声，进行对比训练。与有监督的方法效果类似，dropout充当了最小的数据增强的方法，删除它模型会崩溃。 然后提出一种有监督的方法，使用自然语言推理（NLI）中的蕴含作为正对、矛盾作为负例，在STS任务上评估SimCSE，在无监督和有监督的任务上都有提升。 还在理论和试验上证明了对比学习目标将预训练嵌入的各向异性空间正则化，使其更加均匀。
09[NLP训练营]基于语言模型生成句子
老毛的博客
02-28 1513
文章目录生成模型例子 公式输入请参考：在线Latex公式 生成模型 当一个模型训练好后，我们可以利用这个模型来生成一些数据，就是生成模型。例如：生成句子，音乐，图像，程序等。 当然还有判别模型。 例子 假如上图是我们的词库，然后每一个词对应的概率已经训练好了，然后用Unigram来生成一个句子： 由于Unigram是不考虑上下文的，所以这个句子完全就随机根据单词的概率取的下一个词。 下面看Bi...
NLP深入学习——文本表示与相似度计算（text representation and Similarity calculation）
weixin_42894555的博客
06-18 1398
文章目录返回主目录文本表示（text representation）：文本表示方法（text representation method）单词表示（word representation）:One-hot representation句子表示（sentence representation）:① Boolean-based representation② Count-based representation③ Tf-idf representation文本相似度（text similarity）① 欧氏距.
representation learning 表示学习
zhangsh_20930的专栏
12-17 2万+
representation learning
[NLP论文阅读] Supervised Learning of Universal Sentence Representations from NLI data
jx00109的博客
09-15 3613
这篇文章感觉上我上一篇博客中阅读的论文在想法上有相似的地方，想法都是你要达到目标，你必须先会点别的。http://write.blog.csdn.net/mdeditor#
(个人总结) 刨析English句子核心 - 句法与词法、从句与短语(万物归一)
STCNXPARM的博客
02-12 675
在融合了英语词法与句法知识后，推演出英语句子的原始模型，重新认识词法与句法间的交织关系图，下面三个步骤打通英语语法中所有关系： 第一步：词法与句法如何建立紧密关系？ 以陈述句为例，构建词法和句法的基本对应关系： 首先可以认为最开始句子的基本成分只由单个词承担，后面为了丰富句子，然后催生出短语，甚至从句来充当句子成分； 其他的基本词： 冠词、数量词：相当于形容词； 代词：相当于名词； 介词：不单独...
关于表征学习（Representation Learning）的浅显理解
qq_33915218的博客
09-10 1396
最近刚上研一，真正开始学习人工智能相关内容了，所以稍微对自己的学习过程做个记录。 我们在训练CNN区分猫和狗的时候，会给计算机看很多猫和狗的图片，计算机慢慢就能学会区分猫和狗。那么这里要问了，我们总是说计算机会“学习”，到底计算机学了什么？你给计算机一张图片，计算机是怎么学习这张图片的？怎么就算是学习了这张图片？提取feature是一种很常见的方式，卷积啊 pooling啊等等，就是为了搞清楚一张猫的图片的像素有啥特性，这样计算机就能从狗的照片中找出猫。 一张猫的图片，计算机是通过分析并学习图片的像素的特征
深度学习方法（十九）：一文理解Contrastive Loss，Triplet Loss，Focal Loss
热门推荐
Bin 的专栏
03-08 2万+
我们平时ML任务的时候，用的最多的是cross entropy loss或者MSE loss。需要有一个明确的目标，比如一个具体的数值或者是一个具体的分类类别。但是ranking loss实际上是一种metric learning,他们学习的相对距离，相关关系，而对具体数值不是很关心。ranking loss 有非常多的叫法，但是他们的公式实际上非常一致的。大概有两类，一类是输入pair 对，另外一种是输入三元组结构。
CVPR 2021 FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding
Ma_tx
03-29 2007
摘要 最近的研究表明，良好的特征嵌入是获得良好的学习性能的关键。我们观察到具有不同交并比(IoU)分数的目标候选框类似于对比方法中使用的图像内增强。 我们利用这种类比，并结合监督对比学习，以实现更稳健的对象表示在FSOD。 我们提出了通过对比建议编码(FSCE)进行小样本目标检测，这是一种简单而有效的学习对比感知对象建议编码的方法，它有助于对检测到的目标进行分类。 通过对比建议编码损失(CPE损失)，通过促进实例级的类内紧性和类间方差，缓解了分类错误问题。 方法 首先使用base 数据集训练一个标准的Fa
自然语言处理基础技术之组合范畴文法
AI小白入门的博客
12-03 3073
声明：转载请注明出处，谢谢：https://blog.csdn.net/m0_37306360/article/details/84712213 另外，更多实时更新的个人学习笔记分享，请关注： 知乎：https://www.zhihu.com/people/yuquanle/columns 公众号：StudyForAI 之前在读论文的时候看到CCG这个概念，所以之查阅学习了一波~~ 定义： ...
【论文阅读】Distributed Representation of Sentence and Document
momo1005的博客
03-24 1248
Abstract 传统的单词模型（bag-of-words）在实际应用中有一些缺点： They lose the ordering of the words，丢失了单词的顺序。 They ignore semantics of the words，忽略了单词的语义。 因此本文提出了一种新的模型（Paragraph Vector），解决了上述的一些问题，带来了更好的效果。 Intro...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值