【论文精度】PLBART: Unified Pre-training for Program Understanding and Generation

已于 2023-01-05 00:15:09 修改
阅读量2.1k 收藏 3
点赞数 1
分类专栏： 神经代码智能预训练模型 自动代码生成 文章标签： 深度学习 人工智能
于 2023-01-04 22:16:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45828972/article/details/128555321
版权

PLBART: Unified Pre-training for Program Understanding and Generation

论文地址：https://arxiv.org/pdf/2103.06333

代码地址：https://github.com/wasiahmad/PLBART

在这里插入图片描述

Abstract

​ 代码摘要和生成支持编程语言（PL）和自然语言（NL）之间的转换，而代码翻译则有助于将旧代码从一种 PL 迁移到另一种 PL。本论文介绍了 PLBART，这是一种序列到序列模型，能够执行广泛的程序和语言理解和生成任务。PLBART 通过去噪自动编码在广泛的 Java 和 Python 函数集合以及相关的 NL 文本上进行了预训练。对七种编程语言的英语代码摘要、代码生成和代码翻译的实验表明，PLBART 优于或与最先进的模型相媲美。此外，对判别任务（例如程序修复、克隆检测和漏洞代码检测）的实验证明了 PLBART 在程序理解方面的有效性。

1. Introduction

​ 论文的目标在于构建一个通用的模型用于不同的PLUG（Program and Language Understanding and Generation）任务。PLUG任务的一个重要方面在于它们需要对程序的语法和语义、以及PL和NL之间的相互依赖有深刻的理解。例如：

在这里插入图片描述

如Figure 1所示，展示了两种PL对相同算法（sorting）的实现，以及对应的NL总结。在这个例子中，自动翻译工具必须理解在Python中的sorted函数与java中的Arrays.sort函数的作用是一样的、Python中的lambda操作与java中的Comparator操作是等价的；同样，一个用于对代码进行总结的工具必须理解Python中的x[0]和java中的Tuple.get(0)都是表示元组列表中的第一个元素。

​ 语言生成任务（例如代码摘要）被建模为seq2seq学习，其中encoder学习对输入代码进行编码、解码器生成目标摘要。尽管现有方法都很有效，但是它们并没有预先训练好的语言生成解码器，因此仍然需要大量的并行数据来训练解码器。为了解决这一问题， Lewis et al. (2020) 提出了去噪序列到序列的预训练，其中Transformer学习重建使用任意噪声函数损坏的原始样本； Lachaux et al. (2020) 研究了使用一个大规模的针对无监督程序翻译的源代码集去噪预训练，并发现这种方法很有用。与其他双模态场景不同，PL和相关联NL文本共享相同的字母表或使用可以帮助学习跨语言语义空间之间的对齐的anchor token（eg. “sort”,“list”,“tuple”）。

​ 本论文介绍了PLBART模型，一个在PL与NL未标记数据上的双向和自回归transformer预训练，学习适应与广泛(broad spectrum)PLUG任务的多语言表示，在代码摘要、生成、翻译、程序修复、克隆检测和漏洞检测等任务上对PLBART进行了评估，实验结果表明PLBART优于CodeBERT和Graph-CodeBERT等主流方法，在程序理解和生成方面具有较好的应用前景。通过深入分析表明，PLBART能够学习程序语法和逻辑数据流，即使在注释数量有限的情况下也能学习到较好的程序语义。

2. PLBART

PLBART使用去噪序列到序列预训练来利用PL和NL的未标记数据，预训练使得PLBART能够对语言语法和语义进行推理，同时学习连贯地(coherently)生成语言。

2.1 Denoising Pre-training

（1）Data & pre-processing：分别在GitHub和Stack Overflow的大量java和Python函数以及自然语言描述上对PLBART进行了预训练；按照Lachaux et al.(2020)的预处理管道提取java和Python函数；收集了Stack Overflow帖子（posts，包括问题和答案，排除代码片段），预训练数据集如Table 1所示：

在这里插入图片描述

使用一个在1/5的预训练数据上学习的句子片段模型（sentencepiece model, Kudo and Richardson,2018）对所有数据进行分词。

汇总来自不同模态的数据的一个关键挑战在于一些模态可能有更多的数据（例如，PL的数据是NL数据的14倍），因此，论文对数据进行**混合和上下采样（mix and up/down sample）**以减轻（allevate）PL的偏置；根据一个概率多项式分布采样用于预训练的实例：在这里插入图片描述
，其中，N是语言总数、ni是语言i中的实例总数、平滑参数α设置为0.3

（2）Architecture： PLBART使用与BART_base相同的架构，它使用seq2seq的Transformer架构，带有6层encoder和6层decoder，模型尺寸为768和12头（约140M参数）；唯一的不同点在于，PLBART在编码器和解码器之上添加了一个额外的层归一化层，有助于以FP16的精度稳定训练。

（3）Noise function：在去噪自编码（denoising autoencoding） 中，一个模型学习重建一个被噪声函数破坏的输入文本，这需要模型学习语言的语法和语义。本文中，使用了三种噪声策略（noising strategies）：token masking、token deletion、token infilling。前两种策略中，采样随机的token并替换为一个mask token或者从输入序列中删除；在token infilling中，一系列文本跨度被采样并被替换为一个单一的mask token，跨度长度由泊松分布（λ=3.5）得到。对每个实例的35%的token进行了掩码。

（4）Input/Output Format：encoder的输入是一个噪声文本序列，decoder的输入是一个带有一个位置偏置的原始文本。一个语言id标记(例如，,)分别被追加(append)和前置(prepend)到encoder和decoder的输入中。输入实例如果超过最大序列长度512将被截断(truncated)，具体例子如Table 2 所示。

疑问：这个例子中，表中说的是encoder input和decoder output，不应该是encoder input与decoder input吗？

在这里插入图片描述

（5）Learning：PLBART在N种语言中进行预训练（本文样例中N=3），每种语言Ni有一个无标记实例集Di = {x1, …, xni}，每个实例使用噪声函数f进行破坏，训练PLBART从f(x)去预测原始实例x，正式地，PLBART训练为最大化Lθ：在这里插入图片描述
，其中，mi是语言i的采样实例数量；P是在标准序列到序列解码之后估计的。

（6）Optimization：在8个Nvidia GeForce RTX 2080 Ti GPUs中训练100K steps，有效批处理大小维持在2080个实例；使用带有线性学习率衰减的Adam(ε = 1e-6, β2 = 0.98) 进行优化；开始训练时dropout设置为0.1，50K steps时将其减到0.05/80K steps时将其减到0（有助于模型更好地拟合数据）；总共的训练时间大约276小时（11.5 days）。

2.2 Fine-tuning PLBART

针对两大类下游任务对PLBART进行微调

（1）Sequence Generation：PLBART有一个encoder-decoder架构，其中decoder能够自回归地生成目标序列，因此在序列生成任务（例如代码摘要、代码生成、代码翻译）上可以直接对PLBART进行微调。与去噪预训练不同，源序列在微调期间作为encoder的输入，然后decoder生成目标序列（源序列域目标序列可以是一个代码片段或者文本序列）。Table 3展示了一些PLBART用于不同生成任务的输入输出示例。（PLBART在解码序列中前置一个语言id，可以使得PLBART支持多语言设置，如多语言代码生成）。

在这里插入图片描述

（2）Sequence Classification：输入序列被同时喂给encoder和decoder。对于一个输入对，通过插入一个特殊的token（“”）将它们连接起来，在输入序列尾部添加一个特殊的token；来自最后一个decoder层的最后一个token的表示被喂给一个线性分类器用于预测。

（3）Optimization：微调PLBART，使其在所有下游任务的最大100K步和2500步的warm-up步骤；设置maximum learning rate = 3e-5、batch size = 32、dropout rate = 0.1。基于验证BLEU（生成任务）或准确性（分类任务）选择最终模型。

3. Experiment Setup

重点评估PLBART在源代码和相关自然语言文本中捕获丰富语义的能力。

3.1 Evaluation Tasks

将任务分为四类，数据集如Table 4所示。

在这里插入图片描述

（1）Code Summarization：

（2）Code Generation：在Concode数据集上对PLBART进行微调。

（3）Code Translation

（4）Code Classification

3.2 Evalution Metrics

（1）BLEU：计算生成序列和引用集(a collection of references)之间的n-gram overlap。对所有生成任务使用语料库级别的BLUE评分，除了代码摘要任务使用平滑的BLEU-4评分。

（2）CodeBLEU：对生成代码的质量的评估标准。与BLEU不同，CodeBLEU同时基于抽象语法树和数据流结构考虑生成代码的语法和逻辑准确性。

（3）Exact Match（EM）：计算生成的序列是否与目标序列完全匹配。

3.3 Baseline Methods

分为两类，将PLBART与其他SOTA模型进行对比。

3.3.1 Training from Scratch

Seq2Seq：带有注意力机制的基于LSTM的seq2seq模型，词汇表使用字节对编码进行构建。

Transformer：是PLBART和其他预训练模型的基础模型，Transformer baseline有跟PLBART相同的参数数量。

3.3.2 Pre-trained Models

PLBART包含一个encoder和一个自回归(autoregressive)decoder，在两类预训练模型中与PLBART进行对比：①encoder-only models (eg. RoBERTa，CodeBERT, GraphCodeBERT)（在特定任务中使用一个随机初始化的decoder进行微调）；②decoder-only models（eg. CodeGPT）

RoBERTa, RoBERTa (code)：RoBERTa在NL中预训练；RoBERTa(code)在CodeSearchNet的源代码上进行预训练。

CodeBERT：将maksed language modeling（MLM）和replaces token detection（RTD） 目标结合起来预训练一个Transformer encoder。

GraphCodeBERT：通过建模代码token这一件的数据流边来改进CodeBERT

GPT-2, CodeGPT-2, and CodeGPT-adapted：GPT-2是在NL预料上预训练的；CodeGPT-2与CodeGPT-adapted是在CodeSearchNet上预训练的。

4. Results & Analysis

目的在于确定以下问题：

  • PLBART是否从未标记数据中学习强大的程序和语言表示？
  • PLBART是否学习程序特征，例如语法、风格、逻辑数据流？
  • PLBART在注释有限的新的语言中表现如何？

4.1 Code Summarization

在这里插入图片描述

  • 在6中编程语言的测试中，PLBART在其中5种编程语言的性能是最优的，比CodeBERT平均高出了0.49个BLEU score.
  • 与CodeBERT不同，PLBART并没有在Ruby语言上预训练过，但是却取得了最优的性能，这表明PLBART能够更好地学习泛型程序语义。
  • PLBART在PHP语言表现差，潜在的原因是预训练模型的句法和PHP语言句法不匹配；而RoBERTa在PHP的表现比PLBART更优，猜测是因为RoBERTa仅在自然语言上进行预训练，不会收到语法不匹配问题的影响。
  • 总体而言，与Transformer基线相比，PLBART的BLEU-4 score平均提高了2.76,，将这一改进归功于预训练步骤。

4.2 Code Generation

在这里插入图片描述

  • 在BLEU和CodeBLEU指标上PLBART是最优的，在EM指标上CodeBERT-adapted是最优的。这表明PLBART生成的代码再语法和逻辑上比所有的基线都正确得多。

  • 图2展示了PLBART生成的一个代码示例，生成的代码与引用代码语义上是等价的
    在这里插入图片描述

  • 为了研究PLBART是否在预训练或者微调期间学习了代码语义和逻辑流，做了一个消融实验(ablation study)，使用训练样本子集（10K, 20K, 50K）去对PLBART进行微调，如Table 6所示。近使用10K 样例时，PLBART在CodeBLEU标准上比所有基线都要优，这表明PLBART在预训练期间学习了程序的语义和数据流信息，在下游任务上有很好的性能。

  • 生成语法和逻辑上正确的代码一直是程序生成中的一共大挑战，论文猜测PLBART的大规模去噪序列到序列的预训练有助于理解程序语法和逻辑流，从而使得PLBART能够生成语法和逻辑上有效的代码。

4.3 Code Translation

在这里插入图片描述

  • 如Table 7所示，PLBART获得SOTA性能。尽管PLBART没有在C#语言上预训练过，但是因为java和C#之间有很强的语法和语义相似性，因此PLBART理解C#语言的语法和语义。

在这里插入图片描述

  • Figure 3展示了PLBART翻译生成的C#代码与引用代码的对比，它们并不完全一致，但是在语义上是等价的。这进一步证明(corroborate)了PLBART的语法理解及其对源代码中数据流的推理(reason)能力。

在这里插入图片描述

  • 在程序修复任务上，输入和输出是同一种语言，但是输入是带有bug的代码，输出是无bug的代码，因此在该任务中EM是关键指标。如Table 8所示，PLBART的性能与GraphCodeBERT相当，后者使用结构感知的预训练来学习程序语法和语义。

4.4 Classification

在这里插入图片描述

  • 如Table 9所示，在克隆检测和缺陷检测任务上，PLBART比CodeBERT性能都要更优。
  • PLBART和CodeBERT在缺陷检测方面都不是最先进的，因为基于图的模型在这一任务中表现最好。

5. Related Work

（1）Pre-training for Language Understanding and Generation：BERT在学习上下文表示中具有很好的性能，但是在生成任务中并不那么有效；GPT使用自回归预训练，在生成任务上表现较好，但是不是双向的（bidirectional）；BART是一个使用一个双向的encoder和一个自回归的decoder的去噪自编码器(denoising autoencoder)。与BART类似，PLBART使用去噪预训练去处理生成任务，并联合学习编程语言和自然语言的多语言表示。

（2）Deep Learning in Software Engineering：

6. Conclusion

PLBART在各种下游软件工程任务中（包括代码摘要、代码生成、代码翻译）中取得了SOTA性能，同时在程序理解任务中也有效。PLBART通过预训练学习到了摘要的程序特性，例如语义、常规标志符命名、数据流等。

7. 代码理解

（待补充）

marasimc
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【AI4Code】《Unified Pre-training for Program Understanding and Generation》 NAACL 2021
chadlee
07-14 423
此外，分析表明PLBART学习程序语法、样式（例如，标识符命名约定）、逻辑流程（例如，else块内的if块等效于elseif块）对程序语义至关重要，因此即使在有限的注释下也表现的很好。PLBART基于BARTbase架构，使用seq2seq去噪预训练来利用PL和NL中的未标记数据，这里有三种噪声策略标记屏蔽、标记删除和标记填充，将有噪音的序列输入encoder,原始序列加上位置偏移输入decoder，目标是去除噪声恢复原序列。decoder的最后一个输出送入线性分类器中分类。...
【深度学习论文】FaceNet: A Unified Embedding for Face Recognition and Clustering
01-07
CSDN博客：【深度学习论文笔记】FaceNet: A Unified Embedding for Face Recognition and Clustering CSDN博客：FaceNet–Google的人脸识别 《21个项目玩转深度学习》6章。 实现：davidsandberg/facenet ...
yolov1论文：You Only Look Once: Unified, Real-Time Object Detection
01-25
yolov1论文
You Only Look Once: Unified, Real-Time Object Detection
04-24
yolo的ppt详细讲解
PLBART:我们工作的代码预发布，《 NAACL 2021》接受了“程序理解和生成的统一预培训”
03-11
PLBART NAACL 2021接受了我们工作的代码预发布，用于程序理解和生成的统一预培训。
DCNSim: A Unified and Cross-Layer Computer Architecture Simulation Framework for Data Center Network Research
02-10
Within today's large-scale data centers, the inter-node communication is often the major bottleneck. This fact recently blooms the data center network (DCN) research. Since building a real data center is cost prohibitive, most of DCN studies rely on simulations. Unfortunately, state-of-the-art network simulators have limited support for real world applications, which prevents researchers from first-hand investigation. To address this issue, we developed a unified and cross-layer simulation f
英文论文原文FaceNet: A Unified Embedding for Face Recognition and Clustering
11-22
深度学习神经网络在人脸识别中的运用，网络采用欧氏距离来衡量两张人脸图片之间的相似度。
【论文阅读】Unified Pre-training for Program Understanding and Generation
小王同学的博客
12-21 672
目录一、简介二、方法三、实验 发表于NAACL 2021 paper地址：https://arxiv.org/pdf/2103.06333v2.pdf 代码地址：https://github.com/wasiahmad/PLBART 一、简介 文章提出的PLBART是一种序列到序列模型，能够执行广泛的程序和语言理解和生成任务。 PLBART 通过denoising autoencoding对大量 Java 和 Python 函数以及相关的 NL 文本进行了预训练。代码摘要、代码生成和七种编程语言代码翻.
【阅读】BERT，预训练，sup音素级别，音素级
ndz2020的博客
05-22 183
BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingWe 我们引入一个叫做BERT的模型，全称为“来自Transformer的双向编码表征。不同于最近的语言表征模型，BERT通过在所有层面调控左右语境，对无标签文本预训练，得到深度双向表征。 知乎有关BERT 知乎有关预训练 混合音素BERT：TTS中用混合音素和sup音素表征来优化BERTTTS中的音素编码器可以通过BERT预训练来优化。但这种做法
如何用pytorch做文本摘要生成任务(加载数据集、T5 模型参数、微调、保存和测试模型，以及ROUGE分数计算)
Wang_Dou_Dou_的博客
03-15 5769
摘要：如何使用 Pytorch(或Pytorchlightning) 和 huggingface Transformers 做文本摘要生成任务，包括数据集的加载、模型的加载、模型的微调、模型的验证、模型的保存、ROUGE指标分数的计算、loss的可视化。
论文阅读《Summarizing Source Code with Transferred API Knowledge》
m0_49582935的博客
12-16 298
《Summarizing Source Code with Transferred API Knowledge》论文阅读笔记
代码智能：问题与解法
lusing的专栏
07-06 1198
代码智能：问题与解法 在基于预训练大模型引发自然语言处理革命的今天，代码智能技术也在迅速跟进发展。 那么，代码智能主要在做一些什么样的事情呢？可能很多同学会有比较科幻的想法，比如程序员要失业了之类的。 但是，其实很多工作并没有那么神秘，非常基础。那么我们用代码智能要解决什么问题呢？ 判断两段代码是不是实现相似的功能 搜索跟当前代码段最相似的代码 检测代码是否有bug 自动修复代码中的bug 给一段代码自动写注释 根据文本推荐最相似的代码段 根据文本生成代码 看了之后是不是觉得更玄幻了？这么困难的问题怎么
文本摘要生成任务
frank_zhaojianbo的博客
07-06 1887
Keras 文本摘要生成任务，前面部分是代码解析，后面部分是 原理讲解。 1.代码讲解 2.uniflm 原理讲解 3.beam search 原理讲解 1.代码讲解 首先安装bert4keras==0.2.0 !pip install bert4keras==0.2.0 引入所用的包 from tqdm import tqdm import os, json, codecs from bert4keras.bert import load_pretrained_model from bert4keras
准确率可提升50%以上，Facebook用迁移学习改进代码自动补全
zandaoguang的博客
05-22 248
视学算法报道转载自：机器之心编辑：陈萍、杜伟来自 Facebook 的研究团队将迁移学习用于代码自动补全，提出的方法在非常小的微调数据集上提高 50% 以上的准确率，在 50k 标记示例上...
Unified Language Model Pre-training for Natural Language Understanding and Generation 理解
weixin_40122615的博客
10-22 870
Unified Language Model Pre-training for Understanding and Generation 论文的地址：https://arxiv.org/abs/1905.03197 代码地址：https://github.com/microsoft/unilm 文章目录Unified Language Model Pre-training for Understanding and GenerationAbstract1.Introduction2.Unified La
自动写代码指日可待！Facebook迁移学习新突破，代码补全准确率超50%！
weixin_50464560的博客
05-25 204
本文转载自 新智元 程序员的工作就是取代重复、算法可替代的工作，而他们自己也在研究如何取代自己。Facebook新发表的代码补全模型准确率超50%，动动手指就能写几百行代码！ 代码补全(code AutoCompletion)就是在写代码的时候，IDE能够预测出下一段要写的代码，也是写代码时候选择使用IDE的重要原因。 最近的相关研究表明，自动补全可以通过深度学习来实现，使软件语言...
老板让我用少量样本 finetune 模型，我还有救吗？急急急，在线等！
夕小瑶科技说
03-18 784
文 | ????????????????编 | 王苏今天介绍的是一篇 NAACL'21 新鲜出炉的工作！NAACL 上周四出的结果，这篇工作本周一上传 arxiv，周二被王苏小哥哥...
文献阅读：(UNILM)Unified Language Model Pre-training for Natural Language Understanding and Generation
ljp1919的专栏
08-28 7404
0. 背景 机构：微软 作者：Li Dong、Nan Yang 发布地方：arxiv 面向任务：Natural Language Understanding and Generation 论文地址：https://arxiv.org/abs/1905.03197 论文代码：暂未 0-1. 摘要 本文提出一个能够同时处理自然语言理解和生成任务UNIfied pre-trained Language M...
Unified Language Model Pre-training for Natural Language Understanding and Generation论文学习
hxshine的博客
03-15 261
一、总结 论文：https://arxiv.org/abs/1905.03197 二、相关资料 代码：https://github.com/microsoft/unilm BERT生成式之UNILM解读:https://zhuanlan.zhihu.com/p/68327602
you only look once: unified, real-time object detecti
最新发布
11-24
"YOLO：统一、实时的目标检测"简称YOLO，是一种深度学习算法，用于实时目标检测。它的核心思想是将目标检测问题转化为单个统一的回归问题，使得只需一次前向传播即可直接预测出目标的位置和类别。 相比于传统的目标检测方法，YOLO具有显著的优势。首先，YOLO采用了统一的网络结构，端到端地完成整个目标检测过程。这意味着不需要将图像分割成多个部分进行处理，减少了冗余计算，提高了计算效率。 其次，YOLO实时性能出色。它将目标检测任务与边界框回归深度学习模型相结合，使得可以在一次前向传播中同时预测出多个目标的位置和类别。因此，YOLO在速度上远远超过了传统的基于滑窗的目标检测方法。 此外，YOLO还采用了多尺度的特征图来检测不同大小的目标。通过在不同层级的特征图上进行预测，YOLO可以有效地捕捉目标的多尺度信息，并提高了目标检测的准确性。 然而，YOLO也存在一些局限性。由于采用了统一的网络结构，YOLO对小尺寸的目标检测相对较差。此外，当目标之间存在重叠或者遮挡时，YOLO可能会出现漏检或者虚警的情况。 总而言之，YOLO是一种统一、实时的目标检测算法，具有高效、准确的特点。它在图像处理、智能安防、自动驾驶等领域具有广泛的应用前景。然而，为了提升其性能，在处理小尺寸目标和目标重叠等复杂场景时，仍需要不断的研究和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值