【AI4Code】《Contrastive Code Representation Learning》 (EMNLP 2021)

最新推荐文章于 2023-04-15 00:33:14 发布
最新推荐文章于 2023-04-15 00:33:14 发布
阅读量350 收藏
点赞数
分类专栏： 论文解读 代码智能 机器学习 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanguang1470/article/details/125794339
版权

《Contrastive Code Representation Learning》 (EMNLP 2021)

现有代码表征学习方法最大的缺点是对源代码的编辑非常敏感，即编辑的代码不改变语义。因此提出一种对比学习预训练方法ContraCode，学习的是代码的功能性，而不是形式。

文章举个例子，现有方法对于代码编辑是不鲁棒的，对代码进行超过3个单词的对抗攻击改动，code clone检测的准确度就已经低于随机猜了。

在这里插入图片描述

很自然的对比学习方法就是最大化功能相同的代码表征相似度，最小化功能不同的代码表征相似度：

在这里插入图片描述

扩增方法

文章的核心思想就是对code进行不改变功能的扩增，然后对比学习。

文章不是人工标注的做这件事，而是巧妙的利用编译器来source2source的实现这件事。只要编译器认为这两个代码相同，那么就是不改变功能的扩增

在这里插入图片描述

基于编译器的扩增方法主要可以分为三大类：

  • code compression：提前计算表达式、改变代码格式、删除空格、删除Dead-Code等
  • Identifier modification：变量重命名等
  • Regularization：插入Dead-Code等，其中0.9的Line subsampling是一种改变功能的扩增，用于提高泛化性。

为了提高多样性，对于每段代码，会随机选取一个扩增方法子集进行扩增。

训练方法

在这里插入图片描述

训练用的是 伪孪生网络，基本和He Kaiming的MOCO一样，两个encoder+MLP，输出带入InfoNCE的对比学习loss，也维护了负样本队列。
− log ⁡ exp ⁡ ( q

最低0.47元/天 解锁文章
chad_lee
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Contrastive Code Representation Learning
赵祎的博客
11-21 362
# 安装环境 安装nodejs 下载nodejs npm root -g # 输出默认路径 更改npm仓库路径 npm config set prefix "D:\repository\node\node_global" #存储路径 npm config set cache "D:\repository\node\node_cache" #缓存路径 在contrastive_code代码执行 npm install # 自动安装依赖 pip install -e "." # 安装python依
【AI4Code】《InferCode: Self-Supervised Learning of Code Representations by Predicting Subtrees》ICSE‘21
chadlee
07-14 439
InferCode与Doc2vec类似，将AST视为文档，子树作为文档中的单词。给定AST集合{T1,T2,…,Tn}{T1​,T2​,…,Tn}​，TiT_iTi​的所有子树集合{…,Tij,…}{…,Tij​,…}，将TiT_iTi​和TijT_{ij}Tij​表示为D维向量，考虑子树TijT_{ij}Tij​出现在TiT_iTi​∑jlog⁡Pr。...
论文笔记 | code representation（代码表示学习）系列
Firmiana1220的博客
01-31 5685
文章目录Associating Natural language comment and source code entities研究动机本文方法Deep Learning Similarities from Different Representations of Source Code研究动机具体方法实验部分Learning Semantic Vector Representations of Source Code via a Siamese Neural Network研究动机具体方法实验部分数据N
InferCode：无监督学习代码表示 code representation learning
衣带渐宽人憔悴
06-07 1112
代码表示无监督学习论文：InferCode: Self-Supervised Learning of Code Representations by Predicting Subtrees
《Contextualized Code Representation Learning for Commit Message Generation》阅读
专心致志写BUG的博客
10-26 573
Contextualized Code Representation Learning for Commit Message Generation Abstract ： 为代码提交自动生成高质量的提交消息可以极大地促进开发人员的工作和协调。然而，源代码和自然语言之间的语义差异是这项任务的主要挑战。已经提出了一些研究来缓解这一挑战，但没有一项研究明确涉及提交消息生成过程中的代码上下文信息。具体来说，现有的研究对代码标记采用静态嵌入，将标记映射到相同的向量，而不考虑其上下文。在本文中，我们提出了一.
Contrastive Multi-View Representation Learning on Graphs
12-20
在《Contrastive Multi-View Representation Learning on Graphs》这篇论文中，作者Kaveh Hassani和Amir Hosein Khasahmadi提出了一个自我监督的方法，用于学习图结构中的节点和图级别的表示。这种方法通过对比图的...
VideoMoCo Contrastive Video Representation Learning With.pdf
11-20
VideoMoCo是针对无监督视频表示学习的一种新方法，它基于MoCo（Momentum Contrast）的图像表示学习框架，并对其进行了扩展以增强时间维度上的特征表示。MoCo是一种对比学习的方法，通过构建一个动态的内存队列和动量...
contrastive-learning:对比学习方法
03-10
对比学习方法支持更多内容的对比学习方法的第三方pytorch实现（请参阅“可用内容”部分）。有什么可用的？ 使用SimCLR进行对比学习预训练通过停止梯度进行在线线性评估Pytorch闪电登录和默认收益（多GPU训练，混合...
再介绍一篇最新的Contrastive Self-supervised Learning综述论文 .rar
最新发布
10-18
Contrastive Self-supervised Learning是当前深度学习领域的一个热点研究方向，尤其在计算机视觉（CV）、自然语言处理（NLP）以及人工智能（AI）的一般性生成内容（AIGC）中有广泛应用。 对比自监督学习...
Contrastive Self-supervised Learning for Graph Classification
12-20
Contrastive Self-supervised Learning for Graph Classification 在图分类问题中， Contrastive Self-supervised Learning（对比自监督学习）是一种有效的方法，它可以解决图分类模型中的过拟合问题。该方法通过在...
【AI4Code】《IntelliCode Compose: Code Generation using Transformer》 ESEC/FSE 2020
chadlee
07-14 569
生成树的时候使用beamsearch，beamwith为K，假设最终生成的序列长度为L，模型一共需要预测K*L次，但是模型可以batch执行，所以一共只需要L次。4）在预训练时，加入一个languagetypeclassification任务，即多一个head，每次预测该语言的类型。对序列token化的处理，一个是用subtoken来缩小词表，一个是屏蔽字符串以防止敏感数据泄漏。1）忽略语言之间的不同，用统一的模型训练多种语言【实验表明这种方式比单独对单语言训练效果更差】...
Contrastive Representation Learning
bbbeoy的专栏
09-14 535
Contrastive Representation Learning https://lilianweng.github.io/lil-log/2021/05/31/contrastive-representation-learning.html The main idea of contrastive learning is to learn representations such that similar samples stay close to each other, while dis.
论文笔记：Representation Learning with Contrastive Predictive Coding
Wangpeiyi9979的博客
11-09 1974
对于无监督学习来说，互信息是一个非常重要的指标，它衡量了两个随机变量之间的相关性。在无监督学习中，利用对互信息的优化，通常我们能够得到更加好的特征表示。 要做什么 特征抽取是无监督学习的重要部分，旨在对大量的无标注数据样本进行训练，最后能够得到一个编码器E，将每一个样本XXX编码为一个好的向量表示zzz，那么如何衡量这个表示是否好呢？自编码器(AutoEncoder)告诉我们, 希望编码出的向量能够重构原始样本。因此我们在加入一个解码器D, 将重构的X′X'X′与XXX做Mse loss。 但是这样的想法
AI4Code Detailed EDA
y1040468929的博客
05-29 348
AI4Code Detailed EDA 介绍 这次竞赛的目标是理解在python notebooks中code块和markdown块之间的关系。在这次竞赛中，我们需要在给定正确的cell块顺序情况下，重建markdown顺序，证明哪些自然语言（markdown块）依赖于哪些code块。 导库 import os import json import wordcloud import numpy as np import pandas as pd import plotly.express as px
AI4Code Pytorch DistilBert Baseline（Kaggle竞赛）
y1040468929的博客
05-28 317
AI4Code Pytorch DistilBert Baseline 导库 import json from pathlib import Path import numpy as np import pandas as pd from scipy import sparse from tqdm import tqdm pd.options.display.width = 180 pd.options.display.max_colwidth = 120 BERT_PATH = "../input/
Contrastive Representation Learning 对比表征学习 (一) 对比训练目标
liu13364876993的博客
04-15 795
对比表征学习 对比表征学习的目标是去学习一种嵌入空间（embedding space），在该空间中，具有潜在相似性的样本对彼此相距较近，而不够相似的样本对彼此疏远。对比学习可以被应用于监督与无监督相关任务中。对于涉及到无监督数据的工作，对比学习是自监督学习研究中最有效的方法之一。 对比学习的训练目标 早期用于对比学习的损失函数，只涉及到一个正样本和一个负样本。最近对于训练目标的设计趋势是在一个训练batch中包含多个正负样本对。 对比损失 对比损失是最早用于深度度量学习的训练目标函数之一。 已知一组输入样本
code representation-CPG
qq_44370676的博客
07-12 1675
Modeling and Discovering Vulnerabilities with Code Property Graphs一.背景二.程序表示2.1 AST参考文献 之前提到过许多代码漏洞检测方法都会用到图表示和图神经网络，但对这些图的来源开始缺少探索，今天来探索下。 一.背景 CPG（代码属性图）是2014年提出来了，不过现在很多对漏洞的研究依旧是基于它的。CPG是结合AST（抽象语法树），CFG（控制流图），PDG（程序依赖图）3种代码表示的一种联合表示方法。并且在这篇文章里，作者试图通过图的
【AI4Code】《Pythia: AI-assisted Code Completion System》（KDD 2019）
chadlee
07-18 349
它以树状的形式表现编程语言的语法结构，树上的每个节点都表示源代码中的一种结构。之所以说语法是“抽象”的，是因为这里的语法并不会表示出真实语法中出现的每个细节。一种是将代码解析为抽象语法树（AST），每个节点包括两个属性type和value，所以每个节点需要两个embedding。，LSTM的输出经过一个线性层后，直接和候选集里的token的embedding做内积，然后对内积结果做softmax。，缺点是用户下拉菜单的时间可能要长于直接打代码的时间。，不过代码补全任务的候选集更小。...
【AI4Code最终章】AlphaCode：《Competition-Level Code Generation with AlphaCode》（DeepMind）
chadlee
07-18 590
不同于CodeX的GPT，只用Transformer的decoder，这里用的是完整的Transformer，既有encoder也有decoder。encoder输入是题目的描述（也包括题目的tags、solution使用的语言、题目中的样例），decoder的输出对应的ground-truth是一个solution，可以是对的，也可以是错的。在10次程序竞赛的成绩。模型训练分为预训练和微调，然后预测阶段先大规模采样（召回）得到一百万，然后聚类和过滤得到1000个（粗排），然后选出10个提交（精排）。...
deep graph contrastive representation learning
04-11
b'deep graph contrastive representation learning'是一种深度图对比表示学习的方法。它旨在利用图结构的特性，通过将相邻节点的表示进行对比学习，来学习节点的特征表示。这种方法可以应用于多种图形数据的任务中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值