【NAACL2022】自然语言处理的对比数据与学习

最新推荐文章于 2024-04-18 09:57:33 发布
最新推荐文章于 2024-04-18 09:57:33 发布
阅读量359 收藏
点赞数
文章标签： 人工智能 机器学习 java 大数据 深度学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247573376&idx=3&sn=a5c5864f7945a69a0469d0b6f39049c4&chksm=e9e0d60bde975f1de40fd9825819d6297d066c329fe18edc05fd09c8a5ebbec1874b94d952d6&scene=126&&sessionid=0
版权

d58003f10b90c32ec7aaa475873db3fe.png

来源：专知
本文为教程，建议阅读10+分钟
本教程旨在帮助自然语言处理和计算语言学领域的研究人员理解这一新兴主题，并推动将对比学习用于自然语言处理应用的未来研究方向。

11a68e4983ed6df352d4122e7017bf17.png

目前的自然语言处理模型严重依赖有效的表示学习算法。对比学习就是这样一种学习嵌入空间的技术，它使相似的数据样本对具有相近的表示，而不同的样本彼此相距遥远。它可以用于监督或非监督设置，使用不同的损失函数来产生特定于任务的或通用的表示。虽然它最初使视觉任务的成功成为可能，但近年来，关于对比NLP的工作越来越多。这一第一行的工作不仅在各种NLP任务中提供了有前景的性能改进，而且还提供了所需的特性，如任务不可知的句子表示、忠实的文本生成、零样本和少样本设置下的数据高效学习和可解释性。

在本教程中，我们将温柔地介绍对比学习方法的基本原理及其背后的理论。然后，我们调研了对比学习对各种下游NLP应用的好处和最佳实践，包括文本分类、问题回答、摘要、文本生成、可解释性和可解释性、常识知识和推理、视觉和语言。

本教程旨在帮助自然语言处理和计算语言学领域的研究人员理解这一新兴主题，并推动将对比学习用于自然语言处理应用的未来研究方向。

https://contrastive-nlp-tutorial.github.io/

  • 对比学习基础 Part 1: Foundations of Contrastive Learning

    • Contrastive Learning Objectives

    • Contrastive Data Sampling and Augmentation Strategies

    • Successful Applications

    • Analysis of Contrastive Learning

  • NLP对比学习 Part 2: Contrastive Learning for NLP

    • Contrastive Learning in NLP Tasks

    • Task-agnostics Representation

    • Faithful Text Generation

    • Data-efficient Learning

    • Interpretability and Explainability

  • 经验教训与未来 Part 3: Lessons Learned, Practical Advice, and Future Directions

    • Lessons Learned

    • Practical Advice

    • Future Directions

讲者：

441f22342fc730021924d626621642d7.png

609af64b26a971469fcc5ae892ede2f0.png

d86dcc3cf3afab9783c6c424a665bd32.png

ba7fdb777da0c41a1a4c2f8c99b6e4cb.png

e15827b6a706df151391cb3e8f7fdfe1.png

数据派THU
关注
人工智能 | 自然语言处理研究报告（人才篇）
尘世冰封的专栏
04-26 5296
博主github：https://github.com/MichaelBeechan 博主CSDN：https://blog.csdn.net/u011344545 ============================================ 概念篇：https://blog.csdn.net/u011344545/article/details/89525801 技术篇：https:...
深度学习极简教程——神经网络、模式识别、图像处理、语音处理、计算语言学、统计学等基础入门
AI天才研究院
08-09 821
人工智能（Artificial Intelligence，AI）旨在使机器模拟人类智能，执行诸如学习、推理、解决问题等任务。机器学习（Machine Learning，ML）是实现人工智能的一种途径，其核心思想是让机器从数据中学习规律，并利用学到的规律对未知数据进行预测。深度学习的核心算法是反向传播算法（Backpropagation Algorithm），其作用是根据模型的输出误差，自动调整模型参数，使得模型的预测结果更加准确。将输入数据输入到神经网络中，计算网络的输出。
【自然语言处理】【对比学习】搞nlp还不懂对比学习，不会吧？快来了解下SimCLR
bqw的博客
06-05 3185
近期对比学习在NLP\text{NLP}NLP领域取得了不错的成绩，例如句嵌入方法SimCSE[1]\text{SimCSE}^{[1]}SimCSE[1]和短文本聚类方法SCCL[2]\text{SCCL}^{[2]}SCCL[2]。为了能更好的理解近期的进展，期望通过一系列相关的文章来循序渐进的介绍其中的技术和概念。本文就作为该系列的第一篇文章吧~ 一、SimCLR\text{SimCLR}SimCLR简介 原始论文：A Simple Framework for Contrastive Learn.
2022自然语言处理各类任务中的对比学习必读论文、视频、PPT、数据集等整理分享
lqfarmer的博客
09-03 439
当前的 NLP 模型严重依赖于有效的表示学习算法。对比学习是一种学习embedding的技术，这样相似的数据样本对具有接近的表示，而不同的样本彼此远离。它可用于使用不同损失函数的有监督或无监督设置，以生成特定于任务或通用目的的表示。这第一行作品不仅在各种 NLP 任务中提供了有希望的性能改进，而且还提供了所需的特征，例如与任务无关的句子表示、忠实的文本生成、零样本和少样本设置中的数据高效学习等。本资源整理NLP各个任务中与对比学习算法相关的论文、视频、PPT、数据集等资源，分享给大家。
对比学习在NLP中应用全面解读
Python，数据分析，机器学习，深度学习
08-22 4150
对比学习（Contrastive Learning）在自然语言处理（NLP）中具有广泛的应用。对比学习是一种无监督学习方法，旨在将相似样本聚集在一起，并将不相似样本分开。在NLP中，对比学习的目标是学习出具有语义相似性的向量表示。以下是对比学习在NLP中的一些常见应用：文本相似度计算：对比学习可以学习将语义上相似的文本对映射到相近的向量空间中。通过计算文本对之间的相似度，可以用于文本匹配、重述检测、问答系统、信息检索等任务。
NAACL2022 对比学习论文
from top to bottom
08-16 898
目录Long papersshort papersIndustry Track[1] HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction[2] CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning[3] Cross-modal Contrati
医学自然语言处理(NLP)相关论文汇总之 NAACL 2022
qq_39352201的博客
09-17 914
NAACL2022前段时间已经放榜，自己抽时间整理了一下该会议在医疗自然语言处理方向上的相关论文，放在这里，希望对大家有一定的帮助吧。还会继续更新，大家有兴趣的话可以持续关注。更多关于，请访问我的GitHub相关主页。最近重新整理一下仓库，把，有需要的可以直接从仓库下载，欢迎star～
NAACL 2022事件相关(事件抽取、事件关系抽取、事件预测等)论文汇总
o11oo11o的博客
05-07 2719
EMNLP 2021事件抽取相关论文汇总，后续会更新全部的论文讲解。 Event Extraction Crosslingual Transfer Learning for Relation and Event Extraction via Word Category and Class Alignments 讲解地址 本篇论文提出一个新的方法对REE(关系抽取和事件抽取)进行跨语言迁移学习，利用类的语义和通用的词类别（词性和依赖关系）作为跨语言对齐表示向量的桥梁，利用未标注的目标语言数据，进行语言独立
2022年NAACL对比学习教程：驱动NLP应用的新兴技术
自然语言处理(NLP)的最新进展依赖于先进的表示学习技术，其中对比学习作为一种关键方法崭露头角。对比学习的目标是通过设计算法使模型能够区分相似与不相似的数据样本，从而在嵌入空间中形成结构化的表示。这种方法...
【自然语言处理】关系抽取 —— SIEF 概述
LJR的博客
10-01 792
SIEF 是一种通过随机删除文档中的与关系预测无关的语句（区别于 DocRE 数据集中人工标注的证据语句/非证据语句）来提升 DocRE 模型健壮性的训练方法。作者发现（当时）现存的 DocRE 模型存在健壮性问题，即模型针对完整文档可以正确预测关系，但是删除与预测无关的语句后却出现错误，这显然与直觉（人类的思考方式）不同，人类只需要在少量的与预测有关的语句上便可以正确推断，而不关注无关语句。以图111。
推荐 ：6大最流行、最有用的自然语言处理库对比
weixin_33935505的博客
08-06 256
现在自然语言处理（NLP）变得越来越流行，这在深度学习发展的背景下尤其引人注目。NLP 是人工智能的一个分支，旨在从文本中理解和提取重要信息，进而基于文本数据进行训练。NLP 的主要任务包括语音识别和生成、文本分析、情感分析、机器翻译等。 近几十年，只有适当受过语言学教育的专家才能从事自然语言处理方向的工作。除了数学和机器学习，他们还应该熟悉一些重要的语...
探索自然语言处理的新星： Contrastive Learning-NLP-Papers
最新发布
gitblog_00056的博客
04-18 269
探索自然语言处理的新星： Contrastive Learning-NLP-Papers 去发现同类优质开源项目:https://gitcode.com/ 该项目是一个综合性的资源库，专注于收集和整理关于自然语言处理（NLP）中对比学习（Contrastive Learning）的最新研究论文。由维护，该仓库不仅提供了一个方便的知识导航系统，还为研究人员、开发人员和爱好者提供了一扇深入了解这一领域...
#今日论文推荐#NAACL 2022 | 简单且高效,随机中间层映射指导的知识蒸馏方法
w1hsxn的博客
08-11 401
本文提出了一种新颖、简单且高效的中间层知识蒸馏方法，该方法在性能提升和有效训练时间方面优于传统方法。
自然语言处理学习——基于对比自监督学习的语言模型设计和改进*
m0_37876745的博客
01-13 1906
基于对比自监督学习的语言模型设计和改进* 摘要：最近几年见证了自然语言处理特别是表示学习的预训练模型的蓬勃发展，基于对比学习的自监督模型是其中最火的一种。BERT是近几年来在多种语言处理任务上取得了突出成就，但是它在需要处理句子的任务（例如聚类或语义搜索）效率低下，因为它需要组合地评估许多句子对，这非常耗时。 而Sentence -BERT（SBERT）试图通过学习单个句子的语义表示来解决这一难题，以便可以轻松地访问相似性比较。但是，SBERT接受了带有高质量标记语句对的Corpus培训，这限制了其在标.
对比学习NLP
weixin_36378508的博客
09-22 1812
损失联合方式自监督：将CL的loss和其他loss混合，通过联合优化，使CL起到效果：CLEAR，DeCLUTER，SCCL。 非联合方法自监督：构造增强样本，fine-tune模型：Bert-CT，ConSERT，SimCSE。 1.CLEAR 链接： https://arxiv.org/pdf/2012.15466.pdf 背景： 作者认为，当前的预训练模型都是基于word-level的，没有基于sentence-level的目标，对sentence的效果不好。 方案： word-leve.
【自然语言处理】【知识图谱】SWCC：通过同时弱监督对比学习和聚类改善事件表示
bqw的博客
04-29 950
通过同时弱监督对比学习和聚类改善事件表示 《Improving Envet Representation via Simultaneous Weakly Supervised Contrastive Learning and Clustering》 论文地址：https://arxiv.53yu.com/pdf/2203.07633.pdf 一、简介 ​ 事件的分布式表示是一种常用的表示事件的方法，其能够为各种任务提供特征。但是，获得有效的事件表示是一项有挑战的任务。因此，需要分布式表示能够获得事件间的各种
NAACL 2022 | 具有元重加权的鲁棒自增强命名实体识别技术
Paper weekly
08-02 260
©作者 |回亭风单位 |北京邮电大学研究方向 |自然语言理解自增强（self-augmentation）最近在提升低资源场景下的 NER 问题中得到了越来越多的关注，token 替换和表征混合是对于 NER 这类 token 级别的任务很有效的两种自增强方法。值得注意的是，自增强的方法得到的增强数据有潜在的噪声，先前的研究是对于特定的自增强方法设计特定的基于规则的约...
NAACL2022 | 具有元重加权的鲁棒自增强命名实体识别技术
zenRRan的博客
08-02 251
每天给你送来NLP技术干货！©作者 |回亭风单位 |北京邮电大学研究方向 |自然语言理解编辑 | PaperWeekly自增强（self-augmentation）最近在提升低资源场景下的 NER 问题中得到了越来越多的关注，token 替换和表征混合是对于 NER 这类 token 级别的任务很有效的两种自增强方法。值得注意的是，自增强的方法得到的增强数据有潜在的...
结合NAACL2022对计算语言学趋势的思考与分析
zenRRan的博客
08-11 282
每天给你送来NLP技术干货！译者 | 谈修泽单位 | 东北大学自然语言处理实验室01引言NAACL 会议是 ACL 的北美分会，每年举办一次，也是 NLP 领域备受关注的顶会之一。NAACL 主要涉及对话、信息抽取、信息检索、语言生成、机器翻译、多模态、统计机器学习等多个方面。本篇文章的作者Antoine SIMOULIN协助了NAACL 2022，他结合今年一些论文的情...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值