《预训练周刊》第33期：艾伦AI研究所等 | 预训练语言模型的高效分层域适应

No.33

智源社区

预训练组

预

训

练

研究

观点

资源

活动

关于周刊

本期周刊，我们选择了9篇预训练相关的论文，涉及词汇迁移、常识问答、多模态训练、层次训练、对比学习、图像分割、图文模型、蛋白质作用和免疫特征表示的探索。此外，在研究动态方面，我们选择了2篇预训练资讯，将介绍大模型竞争和视觉算法年度回顾方面的一些最新内容。最后，在资源推荐方面，我们选择了1篇预训练资源，将介绍跨语言摘要方面的一些最新内容。

告诉大家一个好消息，《预训练周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《预训练周刊》。订阅方法：请点击本文下方的“阅读原文”，进入《预训练周刊》Hub社区版，点击作者栏“预训练周刊”后选择“关注TA”。(注：《预训练周刊》Hub社区版内有详细的订阅步骤图示介绍)。

（本期贡献者：申德周 翟珂 吴新刚）

论文推荐

标题：俄罗斯Yandex、Facebook等 | Fine-Tuning Transformers: Vocabulary Transfer（微调Transformer：词汇迁移）了解详情

简介：本文讨论了巨大型预训练模型为下游任务微调而引发迁移学习的探索之一：词汇迁移。自然语言处理领域最新进展中Transformer已成为绝对主流。这些模型的大多数实际自然语言处理应用通常是通过迁移学习实现的。本文研究了用于微调的语料库特定标记化是否会提高模型的最终性能。作者通过一系列的词汇表优化和迁移实验，证明了这种词汇表优化和迁移策略可以提高模型的性能。作者称之为：在迁移学习领域开创了词汇迁移的这一方向。

论文地址：https://arxiv.org/pdf/2112.14569.pdf

标题：加州大学 | Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization（基于完形转换和一致性优化的小样本常识问答）了解详情

简介：本文在常识问答（CQA）方向研究预训练语言模型中的知识提取。作者将重点放在更好地利用预训练语言模型中存储的知识。虽然研究人员发现，通过让预先训练的语言模型填充精心设计的关系提取和文本分类提示的空白，可以提取嵌入在预训练的语言模型中的知识，但目前尚不清楚作者是否可以在CQA中采用这种范式，其中输入和输出的形式更加灵活。为此，作者研究了四种可以将自然问题翻译成完形填空式句子的翻译方法，以更好地从语言模型中获取常识性知识，包括基于句法的模型、无监督神经模型和两种监督神经模型。此外，为结合不同的翻译方法，作者提议鼓励使用未标记数据对不同翻译问题进行模型一致性的预测。实验证明了作者的方法在三个CQA数据集上的有效性。

论文地址：https://arxiv.org/pdf/2201.00136.pdf

标题：威斯康星大学、微软等 | RegionCLIP: Region-based Language-Image Pretraining（基于区域的语言图像预训练）了解详情

简介：本文研究了基于识别图像区域的语言图像预训练模型。业界使用“图像-文本对”的对比语言图像预训练 (CLIP)在零样本和迁移学习中的图像分类方面取得了令人印象深刻的结果。然而，作者表明直接应用此类模型来识别图像区域以进行对象检测会导致性能不佳，因为存在域偏移：CLIP 被训练以将图像作为一个整体与文本描述进行匹配，而没有捕获图像之间的细粒度对齐区域和文本跨度。为了缓解这个问题，作者提出了一种称为 RegionCLIP 的新方法，该方法显着扩展了 CLIP 以学习区域级视觉表示，从而实现图像区域和文本概念之间的细粒度对齐。作者的方法利用 CLIP 模型将图像区域与模板标题匹配，然后预训练作者的模型以在特征空间中对齐这些区域-文本对。当将作者的预训练模型转移到开放词汇对象检测任务时，作者的方法在 COCO 和 LVIS 数据集上的新类别分别显著优于现有技术 3.8 AP50 和 2.2 AP。

论文地址：https://arxiv.org/pdf/2112.09106.pdf

代码地址：https://github.com/microsoft/RegionCLIP

标题：艾伦AI研究所、慕尼黑大学 | Efficient Hierarchical Domain Adaptation for Pretrained Language Models（预训练语言模型的高效分层域适应）了解详情

简介：本文研究了以分层树结构的域表示实现预训练语言模型的分层。生成式的语言模型，在不同的通用领域语料库上进行训练，然而这就限制了它们对更窄领域的适用性，之前的工作表明，持续的领域内训练可以提供进一步的收益。在本文中，作者介绍了一种使用计算效率高的适配器方法将域适应扩展到许多不同域的方法。作者的方法基于对文本域部分重叠的观察，作者将域表示为分层树结构，其中树中的每个节点都与一组适配器权重相关联。当与冻结的预训练语言模型相结合时，这种方法可以实现相关领域之间的参数共享，同时避免不相关领域之间的负面干扰。该方法很高效：对于 D 个域，计算成本为 O(log(D))。GPT-2 的实验结果和 C4 中 100 个最具代表性的网站中的大部分显示了域内的全面改进。作者还为保留域提供了一种推理时间算法，并表明对通过树的多条路径进行平均可以进一步提高泛化效果，同时仅增加推理的边际成本。

论文地址：https://arxiv.org/pdf/2112.08786.pdf

标题：谷歌、亚马逊等 | Supervised Graph Contrastive Pretraining for Text Classification（用于文本分类的有监督图对比预训练）了解详情

简介：本文介绍了用于文本分类的对比预训练技术。但是，通常可以使用来自与当前任务共享标签语义的相关任务的标记数据。作者假设有效地使用这些标记数据可以更好地概括当前任务。在本文中，作者提出了一种通过基于图的监督对比学习方法有效利用来自相关任务的标记数据的新方法。作者通过将监督信息从示例外推到令牌来制定令牌图。作者的公式产生了一个嵌入空间，其中属于同一类的高/低概率标记彼此靠近/远离。作者还提出了详细的理论见解、以作为本研究方法的驱动。基于作者采用的数据集，实验表明：作者的方法优于预训练方案 2.5 % 、并且基于示例级对比学习的公式提升约 1.8 %。此外，在零样本场景中实验表明跨域有效性平均提升3.91%。最后，作者还证明了该方法可以用作知识蒸馏设置中的噪声教师模型、约平均提升4.57% 。

论文地址：https://arxiv.org/pdf/2112.11389.pdf

标题：百度 | ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation（ERNIE-ViLG：双向视觉语言生成的统一生成式预训练）了解详情

简介：视觉语言预训练模型极大地提高了图像-文本生成任务的性能，但用于文本-图像生成任务的大规模预训练模型仍在研究中。本文提出了ERNIE-ViLG，一个统一的生成式预训练框架，基于Transformer模型并将图像生成和文本生成都表述为以文本/图像输入为条件的自回归生成任务。双向的图像-文本生成模型简化了跨视觉和语言的语义对接。对于文本到图像的生成过程，作者进一步提出了一种端到端的训练方法来共同学习视觉序列生成器和图像重建器。为了探索双向文本-图像生成的大规模预训练的前景，本文在1.45亿图像-中文文本对的大规模数据集上训练了一个100亿参数的模型，该模型在文本-图像和图像-文本任务上都取得了最先进的性能。

论文地址：https://arxiv.org/abs/2112.15283v1

标题：华中科大、西安交大、微软 | A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model（用预训练视觉语言模型进行零样本语义分割的基线）了解详情

简介：通过视觉语言预训练的零样本图像分类已经渐趋成熟，然而在更广泛的视觉问题上如物体检测和语义分割还需研究。本文在预训练的视觉语言模型CLIP上构建零样本语义分割基线。该问题难点在于语义分割和CLIP模型在不同的视觉颗粒度上执行，语义分割在像素上处理，而CLIP在图像上执行。为了弥补处理粒度上的差异，本文没有使用普遍的基于FCN的单阶段框架，而使用一个两阶段的语义分割框架，第一阶段提取泛化掩码，第二阶段利用基于图像的CLIP模型，对第一阶段产生的掩码图像作物进行零样本分类。本文的实验结果表明，这个简单的框架在很大程度上超过了目前的先进技术。凭借其简单性和强大的性能，本文希望这个框架能够作为基线以助未来的研究。

论文地址：https://arxiv.org/abs/2112.14757v1

标题：中山大学 | AlphaFold2-aware protein-DNA binding site prediction using graph transformer（使用图Transformer进行结合AlphaFold2的蛋白质-DNA结合位点预测）了解详情

简介：蛋白质与DNA的相互作用在生物系统中起着至关重要的作用，确定蛋白质与DNA的结合位点是对各种生物活动，如转录和修复，进行机理理解和设计新型药物的第一步。现有的基于序列的方法只考虑了顺序相邻的上下文特征，这对捕捉空间信息是有限的。对此本文提出GraphSite，作者将结合位点预测问题转化为图节点分类任务，并采用基于Transformer的预训练模型，通过AlphaFold2预测结构，将蛋白质结构信息、AlphaFold2中Evoformer的表征和序列进化信息考虑在内实现DNA结合残基的识别。GraphSite大大改善了基于序列和结构的最新方法，并且在181种蛋白质的独立测试集上得到进一步证实，在AUPR和MCC上分别超过了最先进的基于结构的方法16.4%和11.2%。

论文地址：https://doi.org/10.1101/2021.08.25.457661

标题：耶鲁 | Pipeline for retrieval of COVID-19 immune signatures（检索COVID-19免疫特征的流程）了解详情

简介：随着生物医学文献出版速度的加快，检索其中的特定的科学信息变得更有意义。在新冠流行的大背景下，有效地检索病毒免疫特征，即生物标志物，可以帮助了解不同的SARS-CoV-2感染的免疫反应机制。对此，本文构建了一个系统的流程来识别和提取结构化的COVID-19免疫特征。具体而言，作者使用基于SPECTER预训练的生物文本嵌入，配合SVM分类器来自动识别含有免疫特征的论文，并进一步对这些论文进行半自动查询流程构建，检索特征信息。此外，基于预训练嵌入的流程也可确定免疫特征的类型，比如基因表达与其他类型的分析。通过这种方法，部分自动化的文献挖掘可以帮助快速创建半结构化的知识库，用于自动分析新出现的健康威胁。

论文地址：https://doi.org/10.1101/2021.12.29.474353

研究动态

标题：2021年预训练大模型的国际竞赛了解详情

简介：GPT-3 发布后，来自不同国家的大型语言模型的堆积几乎就像一场地缘政治驱动的竞赛，在这场竞赛中，“国家冠军”——OpenAI、华为或 DeepMind 等人工智能人才的高度集中中心——开发出了更强大的模型。尽管迄今为止这些大型模型主要由私人组织开发，没有政府参与，但它们在特定国家/地区的发展仍然可以对该国在全球人工智能领域的地位做出巨大贡献。此外，这些模型的发展至少部分归功于各国建立的人工智能生态系统，以及国家层面投资的潜在动力。本文将集中讨论这两个方面——各国开发自己的“超大模型”的雄心，以及这些模型的直接应用之外的国家层面重要性。

标题：Papers with Code 2021年度回顾了解详情

简介：Papers with Code总结了2021年最热门的论文、代码和数据集。ADOP是社交媒体上最受关注的论文——通过 VR 和元宇宙，在第四季度强烈的反应击中了时代精神。更一般地说，该列表突出了机器学习的广泛进展——从新的自监督学习方法到新的多模态架构，在训练大型模型时节省内存的新方法等。2021年TIMM（PyTorch 图像模型）是的热门代码库，反映了代码库的持续增长及其实现的数量，以及代码库作为框架使用和扩展最新视觉架构的增加。MATH 是访问次数最多的新数据集。

资源推荐

标题：孟加拉国工程技术大学、加州大学洛杉矶分校等 | CrossSum:超越 1500 多个语言对的以英语为中心的跨语言抽象文本摘要数据集了解详情

简介：作者提供了 CrossSum：一个包含 165 万个跨语言文章摘要样本、包含 45 种语言的 1500 多个语言对的大规模数据集。基于多语言 XL-Sum 数据集，并使用与语言无关的表示模型通过跨语言检索来对齐以不同语言编写的相同文章，作者提出了一种多阶段数据采样算法并微调多语言预训练模型mT5。实验结果表明在 CrossSum 上微调的模型优于摘要+翻译基线。

论文地址：https://arxiv.org/pdf/2112.08804.pdf

资源下载：https://github.com/csebuetnlp/CrossSum

如果你正在从事或关注预训练学习研究、实现与应用，欢迎加入“智源社区-预训练-交流群”。在这里，你可以：

• 学习前沿知识、求解疑难困惑

• 分享经验心得、展示风貌才华

• 参与专属活动、结识研究伙伴

请扫描下方二维码加入预训练群（备注：“姓名+单位+预训练”才会验证进群哦）