[文献阅读]—Probing Pretrained Language Models for Lexical Semantics

最新推荐文章于 2022-10-13 21:41:27 发布

Muasci

最新推荐文章于 2022-10-13 21:41:27 发布

阅读量735

点赞数 1

分类专栏：文献阅读之家文章标签：机器翻译

本文链接：https://blog.csdn.net/jokerxsy/article/details/121577179

版权

51 篇文章 4 订阅

订阅专栏

前言

在这里插入图片描述

论文地址：https://aclanthology.org/2020.emnlp-main.586.pdf

预训练模型包含丰富信息，但问题是：预训练模型中的单词是否还包含了单词独立的、single的、type-level的、lexical的信息？关于这一点的探究工作较少。

本文使用5个词汇任务来探究预训练模型中的词汇信息：

lexical semantic similarity(LSIM)：单语，斯皮尔曼系数，计算单词对的人为评估和cosine相似度之间的相关程度
word analogy resolution(WA)：单语，precision@1指标，计算给定 wa-wb:wc-x，预测x的精确度
bilingual lexicon induction(BLI)：双语，Mean reciprocal rank指标，计算给定source单词，map对齐之后，搜索到对应的target单词的分数。map可使用训练得到的vecmap
cross-lingual information retrieval(CLIR)：双语，Mean Average Precision指标，BLI的document级别
lexical relation prediction(RELP)：单语，Micro-averaged F1分数，计算给定单词对，引入外部分类模型，预测单词间关系(synonymy, antonymy, hypernymy, meronymy, plus no relation))的F1值

回答了4个问题：

从PLM中抽取单词向量的策略如下，考虑：

单语PLM还是multilingual PLM
对于一个word，使用M个不同的句子，对于每一个句子，通过token embedding的平均得到上下文的word embedding，再对M个word embedding做平均。M = 1 还是 M > 1
平均时是否加入[CLS][SEP] token embedding
平均不同层，还是取单层的output

在这里插入图片描述

图1 抽取策略

Q1\Q2\Q3+抽取策略结论

结论总结1(针对“具体实验”中抽取向量的策略)：

结论总结2(针对Q1\Q2\Q3):

Q1:语言独立？任务独立？: 虽然总体来说MONO > MULTI; AOC > ISO; NOSPEC > ALL, WITHCLS，但是对于不同的语言、不同的任务，需要采取不同的抽取单词向量的策略，才能得到最好的词汇信息建模表现
Q2:特定层参数？分不同位置？:分不同位置，词汇信息集中在低层
Q3:预训练模型？FastText？:对于单语的任务(LSIM\WA\RELP)预训练模型相对更好，对于双语的任务(需要vecmap)FastText更好

在这里插入图片描述

图2 Q1\Q2\Q3+抽取策略结论

Q4+层之间相似度

结论总结3：

图2 Q4

在这里插入图片描述

图3 层之间相似度

词汇信息对于UNMT有什么直接作用？
能否为不同语种各自训练单个预训练模型(lexion信息更强)，同时加入显式的cross-lingual对齐方式，尽可能对齐到同一向量空间，用这两个预训练模型分别对encoder和decoder做初始化?

关注