[文献阅读]—Probing Pretrained Language Models for Lexical Semantics

最新推荐文章于 2024-04-28 19:46:35 发布
最新推荐文章于 2024-04-28 19:46:35 发布
阅读量787 收藏
点赞数 1
分类专栏： 文献阅读之家 文章标签： 机器翻译
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jokerxsy/article/details/121577179
版权
该研究通过5个词汇任务考察预训练模型中的词汇信息，包括词义相似度、词类比解决、双语词汇诱导、跨语言信息检索和词汇关系预测。结果表明，预训练模型在词汇信息建模上表现出语言和任务依赖性，词汇信息主要集中在低层参数中。对于单语任务，预训练模型优于传统fastText，而在双语任务中，fastText表现更优。此外，单语预训练模型能为不同语种的语义相似单词学习到相似表示。
摘要由CSDN通过智能技术生成

前言

在这里插入图片描述

论文地址：https://aclanthology.org/2020.emnlp-main.586.pdf

前人工作&存在问题

预训练模型包含丰富信息，但问题是：预训练模型中的单词是否还包含了单词独立的、single的、type-level的、lexical的信息？关于这一点的探究工作较少。

本文贡献

本文使用5个词汇任务来探究预训练模型中的词汇信息：

  • lexical semantic similarity(LSIM)：单语，斯皮尔曼系数，计算单词对的人为评估和cosine相似度之间的相关程度
  • word analogy resolution(WA)：单语，precision@1指标，计算 给定 wa-wb:wc-x，预测x的精确度
  • bilingual lexicon induction(BLI)：双语，Mean reciprocal rank指标，计算 给定source单词，map对齐之后，搜索到对应的target单词的分数。map可使用训练得到的vecmap
  • cross-lingual information retrieval(CLIR)：双语，Mean Average Precision指标，BLI的document级别
  • lexical relation prediction(RELP)：单语，Micro-averaged F1分数，计算 给定单词对，引入外部分类模型，预测单词间关系(synonymy, antonymy, hypernymy, meronymy, plus no relation))的F1值

回答了4个问题：

  • 预训练模型的词汇信息建模能力是否语言独立？任务独立？
  • 词汇信息被容纳于特定层参数还是分布在不同位置？
  • 预训练模型中导出的静态词嵌入和传统的fastText词嵌入的区别
  • 在不同语种上训练的单语预训练模型对于不同语种中语义相似的单词，是否学到了相似的表示？

具体方法

从PLM中抽取单词向量的策略如下，考虑：

  • 单语PLM还是multilingual PLM
  • 对于一个word，使用M个不同的句子，对于每一个句子，通过token embedding的平均得到上下文的word embedding，再对M个word embedding做平均。M = 1 还是 M > 1
  • 平均时是否加入[CLS][SEP] token embedding
  • 平均不同层，还是取单层的output

在这里插入图片描述

图1 抽取策略

具体实验

Q1\Q2\Q3+抽取策略结论

结论总结1(针对“具体实验”中抽取向量的策略)：

  • 单语PLM的词汇信息更强(MONO VS MBERT)
  • PLM结合了丰富上下文的词汇信息更有用(ISO VS AOC)；结合较少的上下文就可以得到有用的词汇信息了(AOC-10 VS AOC-100)
  • special token作用不大(NOSPEC VS WITHCLS VS ALL)
  • 取低层做平均得到更有用的词汇信息(n<=…)

结论总结2(针对Q1\Q2\Q3):

  • Q1:语言独立？任务独立？: 虽然总体来说MONO > MULTI; AOC > ISO; NOSPEC > ALL, WITHCLS，但是对于不同的语言、不同的任务，需要采取不同的抽取单词向量的策略，才能得到最好的词汇信息建模表现
  • Q2:特定层参数？分不同位置？:分不同位置，词汇信息集中在低层
  • Q3:预训练模型？FastText？:对于单语的任务(LSIM\WA\RELP)预训练模型相对更好，对于双语的任务(需要vecmap)FastText更好

在这里插入图片描述

图2 Q1\Q2\Q3+抽取策略结论

Q4+层之间相似度

结论总结3：

  • Q4: 单语PLM也为跨语种单词对学到了相似的表示；表示的相似度取决于语种相似度(不同语种是近似同构关系)；
  • 相邻层相似
    在这里插入图片描述
图2 Q4

在这里插入图片描述

图3 层之间相似度

问题

  • 词汇信息对于UNMT有什么直接作用？
  • 能否为不同语种各自训练单个预训练模型(lexion信息更强)，同时加入显式的cross-lingual对齐方式，尽可能对齐到同一向量空间，用这两个预训练模型分别对encoder和decoder做初始化?
Muasci
关注
专栏目录
Probing Multimodal Large Language Models for Global and Local Semantic Representations
c_cpp_csharp的专栏
05-07 114
多模态大型语言模型（MLLMs）的发展极大地加速了理解综合文本和图像的应用程序的发展。最近的工作利用图像字幕数据集来训练MLLM，在图像到文本任务上实现了最先进的性能。然而，很少有研究探讨MLLMs的哪些层对全局图像信息做出了最大的努力，而全局图像信息在多模态理解和生成中起着至关重要的作用。在这项研究中，我们发现模型的中间层可以编码更多的全局语义信息，其表示向量在视觉语言隐含任务中表现得更好，而不是最顶层。我们通过对象识别任务进一步探索关于局部语义表示的模型。
Auditing Large Language Models for Enhanced Text-Based Stereotype Detection and Probing-Based
最新发布
c_cpp_csharp的专栏
08-27 275
大型语言模型（LLM）的最新进展显著增加了它们在面向人类的人工智能（AI）应用中的存在。然而，LLM可能会复制甚至加剧训练数据中的刻板印象。这项工作引入了多谷物刻板印象（MGS）数据集，包括51867个性别、种族、职业、宗教和刻板印象文本的实例，这些实例是通过融合多个以前公开的刻板印象检测数据集收集的。我们探索了不同的机器学习方法，旨在建立刻板印象检测的基线，并微调了几种不同架构和模型大小的语言模型，在这项工作中提出了一系列在MGS上训练的英语文本刻板印象分类器模型。
【论文泛读94】用于文本生成的预训练语言模型：一项调查
scu-liu的博客
05-24 464
贴一下汇总贴：论文阅读记录 论文链接：《Pretrained Language Models for Text Generation: A Survey》 一、摘要 文本生成已成为自然语言处理（NLP）中最重要但又具有挑战性的任务之一。深度学习的兴起通过神经生成模型，尤其是预训练语言模型（PLM）的范例，极大地推动了该领域的发展。在本文中，我们概述了用于文本生成的PLM主题中取得的主要进展。首先，我们介绍了常规任务定义，并简要介绍了用于文本生成的PLM的主流体系结构。作为核心内容，我们讨论了如何使现有的PL
自然语言处理中的PretrainedLanguageModel
AI天才研究院
01-21 833
1.背景介绍 自然语言处理(NLP)是计算机科学和人工智能领域的一个重要分支，旨在让计算机理解、生成和处理人类自然语言。在过去的几年里，预训练语言模型(Pre-trained Language Model，简称PLM)在NLP领域取得了显著的进展。这篇文章将深入探讨PLM在NLP中的应用和特点，并分享一些最佳实践和实际案例。 1. 背景介绍 自然语言处理是一种通过计算机程序处理和理解人类自然...
论文阅读：Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stoppin
咕噜咕噜
07-07 646
当前预训练模型大都分为两个训练阶段：预训练和微调；但是在微调时，随机种子的影响也是非常大；这篇文章就是讨论的微调时，受随机种子影响的参数初始化和数据训练顺序，以及提前终止训练对最终结果的影响； 实验证明，参数初始化和数据训练顺序对结果影响巨大，甚至比得上最先进的模型；作者通过在这四个数据集上进行大量实验发现，使用某些性能最好的随机种子，同时在四个数据集上都能达到接近best acc的性能；另外作者通过大量实验发现在模型训练初期，如果发现模型的性能比经验的性能差，那么这个模型可以提前终止，节省...
Raki的读paper小记：Empower Entity Set Expansion via Language Model Probing
Raki_J的博客
02-08 539
Abstract & Introduction & Related Work 研究任务 用属于同一语义类别的新实体来扩展一个小的种子实体集，是一项重要的任务。 已有方法和相关工作 现有的实体集扩展方法通过自适应选择上下文特征和提取新实体来引导种子实体集。 面临挑战 实体集扩展的一个关键挑战是避免选择模棱两可的上下文特征，因为这将改变类的语义，导致在以后的迭代中出现累积性错误 创新思路 利用自动生成的类名来解决语义漂移问题。 实验结论 在两个数据集上的实验表明，我们的框架产
Calibrating Factual Knowledge in Pretrained Language Models 事实校准 emnlp2022
weixin_44206053的博客
10-13 695
在不从头开始进行再训练的情况下，校准plm中的事实知识
[Meta Summary] A stream of paper in probing Transformer Language Models
芝麻挞
07-11 152
一开始知道Probing这个方向大概就是从Voita的NLP with friends talk吧，当时模糊地理解为是一种"neural network interpretation"的方式，其实这种理解没有错误，只是它只说中了一半，这周读了若干篇paper along this stream, 发现probing还有一个目的是serve as evaluation metrics for representation learning. 不过这就更玄学了，比NLG的evaluation还要玄学。起码NLG
How Large Language Models Encode Context Knowledge? A Layer-Wise Probing Study
c_cpp_csharp的专栏
04-28 51
先前的工作已经展示了大型语言模型在检索事实和处理上下文知识方面的有趣能力。然而，对LLM编码知识的分层能力的研究有限，这挑战了我们对其内部机制的理解。在本文中，我们首次尝试通过探测任务来研究LLM的分层能力。我们利用ChatGPT强大的生成能力来构建探测数据集，提供与各种事实相对应的多样性和连贯性证据。我们使用V可用信息作为验证度量，以更好地反映跨不同层编码上下文知识的能力。我们对冲突和新获得的知识的实验表明，LLM：（1）更喜欢在上层编码更多的上下文知识；
Unifying Large Language Models and Knowledge Graphs: A Roadmap综述笔记-入门-知识图谱KG-大模型LLM
好好学习|学无止境
11-26 1819
LLMs，例如chatGPT和GPT4，由于其涌现能力和泛化性，对自然语言理解和人工智能领域产生了新的冲击。然而，LLMs是一个黑箱模型，往往缺乏捕获和获得事实知识。相反，知识图谱，例如维基百科等，是有结构模型。存储着丰富的事实知识。KGs可以通过提供额外的知识去增强大语言模型的推理和解释性。同时，知识图谱也很难去自然构造和进化，对于现有的知识图谱方法来说，生成新的事实和表示未知数据是一个挑战。因此，统一LLMs和KG，同时利用他们的优点是一种补充。在这篇文章中，我们提出了统一LLMs和KG的路线图。
[文献阅读]—Improving the Lexical Ability of Pretrained Language Models for Unsupervised NMT
jokerxsy的博客
11-25 379
前言 论文地址：https://aclanthology.org/2021.naacl-main.16.pdf 代码地址：https://github.com/alexandra-chron/lexical_xlm_relm 前人工作&存在问题 在双语翻译情境中，前人工作发现BLI指标(bilingual lexicon induction)和翻译结果关系很强，而《Probing Pretrained Language Models for Lexical Semantics》一文发现静态的cro
Evaluating Commonsense in Pre-trained Language Models 论文分析
weixin_43173180的博客
07-19 576
摘要 经过大量原始文本数据训练的上下文表示法已经对NLP任务（包括问题回答和阅读理解）进行了显着改进。已经有工作表明语法，语义和词义知识包含在此类表示中，这解释了它们为何有益于此类任务。但是，有关情境化表示中所包含的常识知识的研究工作相对较少，这对于人类对问题的回答和阅读理解至关重要。我们通过在七个具有挑战性的基准测试中测试了GPT，BERT，XLNet和RoBERTa的常识能力，发现语言建模及其变体是提升模型常识能力的有效目标，而双向上下文和更大的训练集则是加分项。我们还发现，当前的模型无法很好地完成任务
基于预训练语言模型的文本生成研究综述
zenRRan的博客
10-08 4140
每天给你送来NLP技术干货！© 作者｜李军毅机构｜中国人民大学高瓴人工智能学院研究方向｜文本生成与预训练语言模型来自 |BUC AI Box本文介绍的是一篇有基于预训练语言模型的文本生成...
论文导读 | 关于将预训练语言模型作为知识库的分析与批评
weixin_48167662的博客
06-27 640
今天我们便介绍关于PLM进行知识解码之机制与行为的一些分析性研究，它们展示了各类因素对PLM的知识预测结果的影响，进而构成了对当前设定下PLM替代KB作为知识源的质疑。
【NLP】人大团队研究：面向文本生成，预训练模型进展梳理
fengdu78的博客
06-17 866
文本生成是NLP 中最重要且颇具挑战性的任务之一。近年来，预训练语言模型 (Pretrained Language Models ，下文简称 “PLM”) 的范式，极大地推动了该领域的发...
预训练语言模型(Pretrained Language Model)
AI天才研究院
07-12 241
预训练语言模型(Pretrained Language Model) Pretrained Language Models. 预训练语言模型(Pretrained Language
论文阅读：Pre-trained Models for Natural Language Processing: A Survey 综述：自然语言处理的预训练模型
南有芙蕖
05-06 9842
Pre-trained Models for Natural Language Processing: A Survey 综述：自然语言处理的预训练模型 目录Pre-trained Models for Natural Language Processing: A Survey综述：自然语言处理的预训练模型摘要关键词1引言2 背景2.1语言表示学习2.2神经上下文编码器2.3为什么要进行预训练？2...
【Reading List】【20190510】预训练（pre-trained）语言模型
wakawaka
05-10 866
RNN，seq2seq，Attention： https://www.leiphone.com/news/201709/8tDpwklrKubaecTa.html 图解transformer ： https://blog.csdn.net/qq_41664845/article/details/84969266 Attentinon： https://blog.csdn.net/male...
论文解读：Enriching Pre-trained Language Model with Entity Information for Relation Classification
夏栀的博客
07-20 4784
论文解读：Enriching Pre-trained Language Model with Entity Information for Relation Classification   在自然语言处理领域内，基于语义的关系分类一直是热门研究内容之一。本文运用了最新提出的BERT模型，并添加相关结构构成实体分类模型，该模型实验F1值为89.25，再次成为SemEval 2010 Task 8数...
chip probing
09-18
芯片测试是制造芯片过程中的一个关键步骤。芯片探测（chip probing）是芯片测试的一种方法。在芯片探测过程中，测试仪器会将电极接触到芯片的引脚，通过电子信号的传输和接收，测试仪器可以对芯片进行各种类型的测试。 芯片探测主要用于以下几个方面：连接性测试、电学特性测试、功能测试和性能测试。 连接性测试是芯片探测的第一步，用于检测芯片引脚和测试仪器的连接是否良好。这个过程通常会检查每个引脚的连通性和接触质量。如果引脚的连接存在问题，可能会导致芯片的功能异常或无法正常工作。 电学特性测试是芯片探测的主要目的之一，用于测量芯片的电学参数，如输入输出电阻、电容和电感等。这些参数的测试结果可以用来判断芯片的性能和质量，并且可以在后续设计和生产过程中进行优化和改进。 功能测试是通过对芯片的输入和输出进行刺激和观察，来验证芯片的功能是否满足设计要求。通过芯片探测，测试仪器可以模拟不同的输入条件，观察芯片的输出结果，以确定芯片是否按照设计规格正常工作。 性能测试是对芯片整体性能的评估。通过芯片探测，测试仪器可以测量芯片的功耗、时钟频率和工作温度等性能指标。这些测试结果可以用来评估芯片的性能是否满足需求，并在系统设计中选择合适的芯片。 总之，芯片探测是芯片测试过程的重要一步，可以帮助厂商评估芯片的质量、性能和功能是否符合设计要求。通过芯片探测，可以及早发现潜在的问题，并采取相应的措施来优化和改进芯片的设计和制造过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值