big code: code2seq论文复现 Generating Sequences from Structured Representations of Code

最新推荐文章于 2024-04-17 09:31:44 发布
最新推荐文章于 2024-04-17 09:31:44 发布
阅读量987 收藏 4
点赞数 1
分类专栏： big code: 编程现场大数据 文章标签： big code code2seq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32768743/article/details/105867383
版权
本文介绍了对code2seq模型的复现过程，数据预处理包括处理方法名和AST路径，数据加载器针对多维度数据进行填充和排序。模型使用双向LSTM编码AST节点，对路径和token进行表示，并通过注意力机制进行解码。实验结果显示，复现模型在性能上与原论文存在差距。
摘要由CSDN通过智能技术生成

这个代码其实是别人写的pytorch的实现：GitHub

code2seq复现

数据

test|reset test,Nm0|MarkerExpr|Mth|Void1,void test,Nm0|MarkerExpr|Mth|Nm2,METHOD_NAME void,Void1|Mth|Nm2,METHOD_NAME

数据按行存，通过空格分隔开。其中，第一项test|reset是方法名，用竖线|分隔为subtoken，其余的项是AST PATH。

AST PATH由三个部分组成，通过逗号,分隔开。

第一项和第三项是AST PATH开始的token和结束的token，通过竖线|分隔为subtoken。

第二项是AST PATH中的结点，也通过竖线|分隔。

with
了解本专栏 订阅专栏 解锁全文
大黄老鼠
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
订阅专栏
big code: code2seq Generating Sequences from Structured Representations of Code
大黄老鼠的小本本
04-08 1061
code2seq 论文：code2seq: Generating Sequences from Structured Representations of Code 作者：Alon 单位：以色列理工学院（Israel Institute of Technology） 会议：ICLR 2019 title、abstract、introduction、conclusion seq2seq在NMT取得了...
【大模型】大语言模型简介
热门推荐
程序员光剑
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
code2seq:本文提出的模型代码
05-13
code2seq 这是模型中描述的正式实现： ， ， 和 ，“ code2seq：从代码的结构化表示中生成序列” 出现在ICLR'2019 （海报可） 可以在上获得在线演示。 这是网络的TensorFlow实现，其中Java和C＃提取器用于预处理输入代码。 由于TensorFlow网络与输入编程语言无关，因此可以轻松地将其扩展为其他语言（请参阅。欢迎您提供帮助。） 也可以看看： 代码结构语言模型（ICML'2020）是一篇新论文，旨在学习在较大的代码片段中生成缺少的代码。 这类似于代码完成，但是能够预测复杂的表达式，而不是一次预测单个标记。 参见 ，演示位于 。 代码模型的对抗性示例是一篇新论文，展示了如何稍微改变code2vec和GNNs模型的输入代码段（因此，引入对抗性示例），以便模型（code2vec或GNNs）将输出我们选择的预测。 参见 （代码：即将发布）。
code2seq代码复现运行笔记pytorch版本
weixin_43433969的博客
06-22 1417
摘要 本文用于学习代码生成论文：code2seq: Generating Sequences from Structured Representations of Code 代码地址：Tensorflow版本https://github.com/tech-srl/code2seqjupyter+pytorch版本（本文跑的是举jupyter版本，有一些小改动） 注意：如果想简单跑一下的话，建议直接fork github中的jupyter版本的项目，本文未提及的代码都在那个github中 项目框架 项目文件
code2seq: Generating Sequences from Structured Representations of Code笔记
想写就写咯
12-29 2976
文章目录前言OverviewModel ArchitectureREPRESENTING CODE AS AST PATHSEncoderABLATION STUDY 前言 这篇文章源码还未公布，方法有点编译原理的味道，这种结合语法结构的思想很好，能用编译原理的知识我觉得确实会有帮助，就是具体方法或许可以优化。 论文地址：https://arxiv.org/abs/1808.01400 作者地址，...
nmt模型源文本词项序列_Code2seq: 可用于多种任务的代码序列化模型
weixin_39608301的博客
12-18 337
Paper来自ICLR2019Abstract来自神经机器翻译(NMT)领域的Seq2seq模型已经在该领域的很多任务上取得了SOTA的结果，本文提出Code2seq模型，利用编程语言中的语法结构对源代码进行编码。该模型在代码片段的AST种提取一部分路径，进行LSTM编码后利用Attention生成目标序列。该模型在2个任务、2种编程语言、4个数据集上进行实验，取得了比之前的模型都好的效果，验证了...
Paper：RNN之《Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列》的翻译和解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-15 8659
利用长短期记忆递归神经网络，通过简单地预测一个数据点来实现长时间的复杂序列生成。该方法适用于文本(数据是离散的)和在线手写(数据是实值的)。然后，通过允许网络根据文本序列调整预测，将其扩展到手写合成。由此产生的系统能够生成多种风格的高度逼真的草书。递归神经网络(RNNs)是一类丰富的动态模型，被用于生成音乐[6,4]、文本[30]和动作捕捉数据[29]等领域的序列。通过一步一步地处理真实的数据序列并预测接下来会发生什么，可以训练RNNs来生成序列。假设预测是概率性的，
(23)[CS13] LSTM Generating：Generating Sequences With Recurrent Neural Networks
gdtop的个人笔记
03-22 2773
计划完成深度学习入门的126篇论文第二十三篇，UT的Alex Graves等领导研究通过LSTM来生成不同风格的文本和手写体handwriting。 ABSTRACT&INTRODUCTION 摘要 本文通过对一个数据点的预测，说明了LSTM怎样生成具有长期结构的复杂序列。该方法适用于文本(数据是离散的)和在线手写(数据是实值的)。然后，它被扩展到手写合成，通过允许网络对文本序列的预...
论文阅读 - RNN生成文本《Generating Sequences With Recurrent Neural Networks》
围城
11-01 2015
20201101 - 0. 引言 昨天在整理论文的时候，看到了这篇论文《Generating Sequences With Recurrent Neural Networks》，实际上这篇论文我很早就看了，只不过当时没有具体来理解。昨天仔细看了看，发现他的这个网络结构图，跟我之前一致理解的那种形式不太一样，挺奇怪的。 1. 其使用的网络结构图 这里无法理解的地方，就是为什么他的这个输入和多个隐藏层的都有关系呢？而且看下面的注释，并不是逻辑上的一个演示作用，而是实际的物理连接。那么基于这部分疑惑，我去搜索了
code2seq: generating sequences from structured representations of code
04-28
code2seq是一种新的代码生成模型，它将基于AST（抽象语法树）的程序结构重新构造为序列表示，并使用此重构的表示来生成代码片段的语义结构。这种模型的一个重要应用是自动生成API调用序列，在软件工程和机器学习中都...
【论文笔记】Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
gjh1716718326的博客
10-19 6132
摘要 Unlike traditional supervised learning, which trains a model to take in an input x and predict an output y as P(y|x), prompt-based learning is based on language models that model the probability of text directly. To use these models to perform predicti
Neural Sentence Ordering with Recurrent and Convolution
程序员光剑
08-10 90
作者：禅与计算机程序设计艺术Natural language processing (NLP) has always been an important research area in the field of artificial intelligence (AI). However, one significant problem in NLP is sentence ordering which refers to arranging the words or sentences in a natu
系统学习深度学习（六） --LSTM总结
工作笔记
01-14 2万+
转自：http://blog.csdn.net/shincling/article/details/49362161 1. 概念： Long short-termmemory (LSTM)is a recurrent neuralnetwork (RNN)architecture (an artificialneural network)published[1] in 1997 b
Generating Sequences With Recurrent Neural Networks（1）
u013261340的博客
09-25 3059
摘要 本文展示了LSTM循环神经网络如何能通过预测数据点来生成复杂序列。 该方法针对文本（其中数据是离散的）和在线手写（数据是实值的）进行了演示。 然后通过允许网络对文本序列进行预测来扩展到手写合成。 所产生的系统能够以各种各样的风格产生高度逼真的草书手写。 introduction 循环神经网络（RNN）是一类丰富的动态模型，已被用于在音乐，文本和运动数据的捕获。可以通过一次处理实际数据序
探索创新代码生成模型：Code2Seq
最新发布
gitblog_00010的博客
04-17 450
探索创新代码生成模型：Code2Seq code2seqCode for the model presented in the paper: "code2seq: Generating Sequences from Structured Representations of Code"项目地址:https://gitcode.com/gh_mirrors/co/code2seq 项目简介 是一个...
【论文笔记】CODE2SEQ: GENERATING SEQUENCES FROM STRUCTURED REPRESENTATIONS OF CODE
volcano_66的博客
02-19 805
tanhWin​encodepathv1...vl;encodetokenvaluev1));encodetokenvaluevl。
大白话Seq2Seq-原来Seq这么神奇
04-28
以大白话的形式讲解Seq2Seq，从你了解Seq2Seq的整体功能，爱上Seq2Seq.资料：视频：
【论文阅读】Code Search and Code Representation
qq_42711123的博客
09-29 743
这张表格总结了一些经典的与 Code Search 和 Code Representation 相关的工作，内含代码表示方法，下游任务几个部分。
code2vec相关文献总结
qq_40479372的博客
10-12 598
​ AI for test基本都有涉及到源代码的表示问题（如：将源代码转换为向量，使用向量进行聚类，针对聚类结果进行测试用例优先级排序），其中code2vec就是一种将代码转化为词向量的工具，详见code2vec介绍PPT。 ​
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值