Firmiana1220的博客

arxiv 2021Shuai Lu, Daya Guo, Shuo Ren, …Peking University, Sun Yat-sen University, Beihang University, Microsoftkeywords: program understanding, benchmark dataset本文提出了一个代码理解领域的benchmark，其中包括10个任务，14个数据集，还有一个可以供研究者们参考和比较的平台。文章中所有内容基本可以用下面这张表概括，主要是在讲.

arxiv 2021Amir M. Mir, Evaldas Latoskinas, Sebastian Proksch, Georgios GousiosDelft University of Technology（荷兰代尔夫特理工大学）keywords: type inference of identifier, deep similarity learning-based method, large type vocabulary研究动机本文做的任务是动态编程语言的变量类型预测。所谓动态.

根据《深入浅出pytorch》一书中的实例进行了修改和总结Tensorboard简介tensorboard是一个数据可视化工具，能够展示深度学习过程中张量的变化。可视化的内容可以包括：模型训练过程中的损失、张量的分布直方图、训练过程中输出的图片和音频数据等。Tensorboard安装pip install tensorboard【注意：tensorboard版本号要和tensorflow版本匹配，具体的匹配规则不太清楚，以下给出我的版本号】使用方法以线性模型的训练为例，以下为完整代码：.

学术期刊CCF期刊名称影响因子出版商CCF AIEEE Transactions on Software Engineering (TSE)4.778IEEECCF AACM Transactions on Software Engineering and Methodology (TOSEM)ACMCCF BJournal of Software: Evolution and Process0.606John Wiley & Sons, Lt

文章目录Pre-trained contextual embedding of source codeCodeBERT: A Pre-trained model for programming and natural languagesGraphCodeBert: Pre-training code representations with data flowContrastive code representation learningInferCode: Self-Supervised Learning

持续更新…文章目录XgBoost算法XgBoost算法XgBoost是Boosting算法的其中一种，Boosting算法的思想是将许多弱分类器集成在一起，形成一个强分类器。因为XgBoost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的分类器，所用到的树模型是CART回归树模型。也就是XgBoost是由很多CART树集成。什么是CART树呢？数据挖掘或机器学习中使用的决策树主要有两种类型：分类树分析是指预测结果是数据所属的类回归树分析是指预测结果可以是实数而术语分.

文章目录Graph U-Nets研究动机主要内容Hierarchical Graph Representation Learning with Differentiable Pooling研究动机研究内容Graph U-Nets会议：ICML 2019Authors：Hongyang Gao, Shuiwang JiDepartments: Texas A&M UniversityRecommend Score: 8.5 / 10.0Keywords: graph classifica

Attention & Transformer由Jay Alammar的博客总结链接：1. seq2seq and attention 2. transformerAttention以下的内容都以机器翻译任务举例。Seq2seq for translation传统的seq2seq架构在做机器翻译任务时，encoder部分获取输入句子的embedding，也就是最后一个时间步的hidden state向量，输入到decoder中，经过多个时间步后，得到输出的序列。但其中存在的

文章目录Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval研究动机两个任务模型框架模型训练实验评估总结An Overview of Multi-Task Learning in Deep Neural Networks什么是Multi-task Learning?Multi-task learning 适用场景两种常见的参数共享方

Conference: NIPS 2019Authors: Rahul Gupta, Aditya Kanade, Shirish ShevadeInstitution: Indian Institute of Science, Google Braindataset and code: https://bitbucket.org/iiscseal/nbl/src/master/研究动机代码错误定位任务和目前的研究现状如下：学生在Online Judge (OJ) 平台上提交程序，可以得到.

python/pytorch各个库的官方docHugging Face：包含各个预训练模型的详细文档，可以直接使用。比如BERT中的tokenizer和model等。除此之外，还有一些公开的数据集。pytorch documentation同理，numpy或者其他的库，在学习的时候都可以找到他们的官方文档，看看某个函数的具体介绍。...

pytorch数据读取参考资料：pytorch数据读取pytorch对nlp数据的处理博客（以短文本匹配为例）dataloader使用教程博客pytorch使用DataLoader对数据集进行批处理简单示例Pytorch的数据读取主要包含三个类：DatasetDataLoaderDataLoaderIter这三者是依次封装的关系，Dataset被装进DataLoader，DataLoder被装进DataLoaderIter。Dataloader的处理逻辑是先通过Dataset类

文章目录Associating Natural language comment and source code entities研究动机本文方法Deep Learning Similarities from Different Representations of Source Code研究动机具体方法实验部分Learning Semantic Vector Representations of Source Code via a Siamese Neural Network研究动机具体方法实验部分数据N

代码摘要生成论文列表1. Recommendations for Datasets for Source Code Summarization2. Abridging Source Code3. Summarizing Source Code Using a Neural Attention Model4. Code Generation as a Dual Task of Code Summarization5. A Transformer-based Approach for Source Code S

书名：韭菜的自我修养作者：李笑来阅读时间：2020年8月1. "韭菜"究竟是谁我们可以从人们的常用语境里得出基本上还算准确的定义：所谓“韭菜”，指的是在交易市场中没有挣到钱甚至赔钱的势单力薄的散户这样看来，作为一根韭菜，想要成为"非韭菜"，任务很简单啊：赚到钱...2. "韭菜"的宿命从那一刻开始“韭菜"之所以是"韭菜”，绝大多数情况下只不过源自一个相同的原因：他们一进场就开始“买买买”！对于新手来说，有一个定律永恒不变：你一买，它就开始跌；你一卖，它就开始涨...为什么会出.

图预训练论文笔记1. Strategies for pre-training graph neural networks2. Multi-stage self-supervised learning for Graph Convolutional Networks on graphs with few labeled nodesMotivation具体方法3. GPT-GNN: Generative Pre-training of Graph Neural Networks4. Pre-training G

文章目录1. Language to Logical Form with Neural Attention2. Abstract Syntax Networks for Code Generation and Semantic Parsing3. A Syntactic Neural Model for General-Purpose Code Generation4. Tree-structured Decoding with Doubly-recurrent Neural Network5. Seman

上一章讲了on-policy策略下，怎样估计状态价值函数，也就是“预测”任务。对应的还有一个“控制”任务，就是要找到最优策略。并且，在控制任务中，我们现在要估计的是动作价值函数，即q^(s,a,w)≈q∗(s,a)\hat{q}(s, a, \mathbf{w}) \approx q_*(s, a)q^​(s,a,w)≈q∗​(s,a)，其中w∈Rd\mathbf{w} \in \mathbb{R...

之前在学习RNN的时候，总是零零散散的搜一些东西。这次想要将关于RNN的知识总结起来，包括各种RNN网络的结构、输入输出以及pytorch代码实现。文章目录单向RNN网络简介Vanilla RNN / GRU 的结构LSTM 的结构双向RNN网络简介单向和双向LSTM的pytorch代码实现单向LSTM双向LSTMReference单向RNN网络简介我们首先介绍单向RNN网络的结构，如下图所...

本章的题目为"on-policy prediction with approximation"，之前几章的内容也涉及到了on-policy prediction，这里的不同就在于“估计”。因为前面讲到的内容是根据策略采样轨迹，再基于轨迹得到的奖励，计算价值函数。但这里不再是采用这样的思路，而是估计价值函数，并且估计出来的价值函数不再是以表格的形式存在，而是得到一个参数化的函数形式。形式化表示为v^...