big code: Code Completion with Neural Attention and Pointer Networks 源码分析

最新推荐文章于 2020-10-29 11:28:41 发布
最新推荐文章于 2020-10-29 11:28:41 发布
阅读量541 收藏
点赞数
分类专栏： big code: 编程现场大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32768743/article/details/109074281
版权
本文深入分析了基于神经网络的代码补全论文源码，详细介绍了数据预处理步骤，包括对终结符和非终结符的统计处理。重点讨论了vanillaLSTM模型的实现，以及带注意力机制和Pointer Networks的改进。在训练过程中，关注了LSTM状态管理和学习率调整。此外，探讨了Attention计算的数学原理及其在代码补全任务中的应用。
摘要由CSDN通过智能技术生成

代码和数据

这篇论文的源码在：
https://github.com/jack57lee/neuralCodeCompletion
数据集在：
http://plml.ethz.ch/
经过处理的数据在：
https://drive.google.com/open?id=1EZZuL8Rl3tatvxpIClvO_a8JD_Oid_oY

数据预处理

论文的代码里面只考虑了3e4个结点以下的程序。
时间跑的时候，我统计以下数据，在python的数据集上，训练集最长是29988，测试集最长是28951。

freq_dict.py

文件头有注释：
each terminal’s frequency;
terminal_num: a set about all the terminals.
这个文件是统计一下终结符的情况，具体在这个论文中就是value的种类和个数。
这里有一个细节是

if len(data
了解本专栏 订阅专栏 解锁全文
大黄老鼠
关注
专栏目录
订阅专栏
big code: Code Completion with Neural Attention and Pointer Networks [IJCAI 2018][ccf A类 会议]
大黄老鼠的小本本
05-26 395
原文：Code Completion with Neural Attention and Pointer Networks 作者：Jian Li 单位：中国香港大学（The Chinese University of Hong Kong） 会议：IJCAI 2018 注：IJCAI是中国计算机学会推荐国际学术会议（人工智能）A 类，全称是International Joint Conference on Artificial Intelligence 数据 x = 7 print x+1 [ {"type
big code: Neural Code Completion [ICLR 2017]
大黄老鼠的小本本
05-14 371
原文：Neural Code Completion 作者：Chang Liu, Xin Wang 单位：加州大学伯克利分校（University of California, Berkeley） 会议：ICLR 2017 (???为啥openreview网站上写reject) 模型公式 嵌入 Ei=ANi+BTi \begin{array}{rcl} E_i = AN_i + BT_i \end{array} Ei​=ANi​+BTi​​ LSTM (qfog)=(σσσtanh⁡)PJ,2J(xihi
big code: Code Completion for Programming Education based on Recurrent Neural Network [IWCIA 2019]
大黄老鼠的小本本
05-24 325
这篇文章对我来说有重大意义，不是因为它有多好，而是因为它，我终于开始看CCF期刊和会议的分区了。看论文前要先看一下它发在哪里的，标一下CCF哪个区，是会议还是期刊。 数据 这里和 Learning Python Code Suggestion with a Sparse Pointer Network 一样 没有用AST，直接词法分析后变ID 模型 嵌入，dropout，lstm，fc，softmax常规操作 注意力的那个当指针的那个 性能 这个性能好高啊，我都懵了。都快80了， Code Com
Pointer Networks
weixin_37958272的博客
07-08 198
Pointer Networks encoder-decoder这些方法仍然需要预先确定输出字典的大小。由于这个限制，我们不能直接将这个框架应用于输出字典的大小取决于输入序列的长度的组合问题。在本文中，我们通过重新利用[5]的注意机制来创建指向输入元素的指针来解决这个限制。 2.1 Sequence-to-Sequence Model 给定一对训练对，(P, CP)，序列到序列模型计算条件概率p(CP∣P;θ)p(\mathcal C^{\mathcal P}|\mathcal P;\theta)p(CP∣
《Pointer Networks》
qq_34325086的博客
09-29 620
这周读的是《Pointer Networks》这篇文章。作者是Google brain和UC Berkeley的研究人员，作者在本文中通过对编码器-解码器机制和注意力机制进行改进，提出了新的网络结构pointer network，并将其运用到解决组合最优化问题。下图为seq2seq模型与指针网络的对比： 可以看出传统的seq2seq模型最终产生的是一个序列，且序列中包含的元素个数与输入序列中...
big code: Code Completion/Suggestion 发展简史
大黄老鼠的小本本
05-19 422
模型 统计语言模型(n-gram和RNN) Code Completion with Statistical Language Models [ACM SIGPLAN Notices 2014] RNN Toward Deep Learning Software Repositories [MSR 2015] 决策树 Probabilistic Model for Code with Decision Trees [OOPSLA 2016] LSTM Neural Code Comp
Reasoning With Neural Tensor Networks for Knowledge Base Completion-附件资源
03-02
Reasoning With Neural Tensor Networks for Knowledge Base Completion-附件资源
Neural Inductive Matrix Completion with Graph Convolutional Networks for miRNA-disease Association Prediction
02-11
### Neural Inductive Matrix Completion with Graph Convolutional Networks for miRNA-Disease Association Prediction #### 概述 本研究提出了一种名为神经归纳矩阵补全与图卷积网络（Neural Inductive Matrix ...
ICLR2021-1：MULTI-HOP ATTENTION GRAPH NEURAL NETWORKS
qq_36618444的博客
10-29 2163
GAT的注意机制并没有考虑到非直接连接但提供重要网络上下文的节点，这可能会导致预测性能的提高。因此本文的作者提出了Multi-hop Attention Graph Neural Network (MAGNA)，将多跳上下文信息纳入注意力计算的原则方法，使GNN的每一层都能进行远程交互。为了计算非直接连接的节点之间的注意力，MAGNA将注意力分数分散到整个网络中，从而增加了GNN每一层的感受域。这样，网络聚合的信息增加，并且有注意力参数作为特征选择的指导。从理论上来说，3层每层6step的MAGNA和3×6
【论文解读 ICLR 2020 | LambdaNet】Probabilistic Type Inference using Graph Neural Networks
byn12345的博客
04-03 1100
论文题目：LambdaNet: Probabilistic Type Inference using Graph Neural Networks 论文来源：ICLR 2020 论文链接：https://openreview.net/forum?id=r1lZ7AEKvB 代码链接：https://github.com/MrVPlusOne/LambdaNet 关键词：推理，GNN，谓词，代码类型...
summary2[3.11-3.17]
Enoch的博客
03-13 565
Ⅰ Code Completion with Neural Attention and Pointer Networks的实现 github上无本paper的source code，需要自己implement。DataSet是public 1.DataSet DataSet 150k个 JavaScript 和python code snippet的AST,存储在json文件中。 eg： pyth...
summary
何新生(Daniel) 勇敢坚毅真正之才智乃刚毅之志向。 —— 拿破仑
03-31 420
summary
Paper Notes——Deep Learning In Program Synthesis and Induction
pkueecscss的博客
07-05 703
Neural program synthesis&Induction的三篇入门论文，在期末过后的招生季,在往返南北的飞机上、酒店房间的小憩中断断续续地读下来，在此记之。 By Samuel Chen 2019.6 1.Recent Advances in Neural Program Synthesis 综述性文章，介绍了Program Induction的概念、常见模型、它们的表现及改进...
【[R] 【教程】教你如何读懂线性回归lm的结果summary（判断显著性）[转]】
热门推荐
拱头的专栏
10-26 6万+
> lm.sol Call: lm(formula = Y ~ ., data = a) Residuals: Min 1Q Median 3Q Max -28.349 -11.383 -2.659 12.095 48.807 Coefficients: Estimate Std.
Summary[3.4-3.10]
Enoch的博客
03-07 195
1.Compiler principle 编译原理词法分析和语法分析的理论知识知识看完了，但是具体的还没有实现。笔记：link 2.antrl4 visualize AST 比如这网上粘了一段java代码，一个method， 用antlr4可视化出来 他还可以用另一种方式呈现 这种结果可以用python写个脚本，从命令行中读取tree的结果，然后自己解析。 3.antrl4 tool ...
1 Machine Learning Summary
天道酬勤，做一个务实的理想主义者
01-28 1002
课程前言 1.机器学习可以看到是很跨领域的，神经学，自然语言处理，等等，机器学习的实用性非常广 2.课程中的作业需要用到MATLAB软件编写实现一些学习算法，但是正版需要收费，OCTAVE是免费的，提供了一些跟MATLAB差不多的功能，但总的来说功能要少一些，不过对这门课程来说够用了 。 课程内容 一.机器学习定义(Machine Learning Definition) Arthu
Python学习入门基础教程(learning Python)--2.3.5Python返回多个值问题
weixin_34191845的博客
08-23 87
本节主要学习Python的函数是如何同时返回多个值的问题。 在学习Python的时候惊奇的发现，Python的函数可以同时返回多个值，很有意思。[python]view plaincopy#define function sumdef sum(x, y): z = x + y x = x ^ y y = x ^ y x = x ^ y ...
big code: 任务、数据集、网站等资源汇总 (持续更新)
大黄老鼠的小本本
05-21 4540
Fill–In–The–Blank 把一段代码某个变量挖空，然后预测这个变量名 挖掉红色部分，但保留绿色部分，预测红色部分，看能不能预测出n这个变量 相关论文 Deep Learning On Code with an Unbounded Vocabulary [EasyChair 2018] Variable Naming 把一段代码中，某一相同变量名全部挖空，自动生成这个变量名 挖掉绿色部分，最后要预测出绿色部分的变量名是expectedsLength 相关论文 Deep Learning O
SnowflakeNet: Point Cloud Completion by Snowflake Point Deconvolution with Skip-Transformer数据有RGB吗
最新发布
05-23
根据论文 "SnowflakeNet: Point Cloud Completion by Snowflake Point Deconvolution with Skip-Transformer"，该模型使用了点云数据，但没有提到是否包含 RGB。因此，可以推断该模型可能只使用了点的位置信息，而...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值