读论文系列(二)Convolutional Neural Networks over Tree Structures for Programming Language Processing

最新推荐文章于 2022-07-01 14:06:37 发布
最新推荐文章于 2022-07-01 14:06:37 发布
阅读量3.5k 收藏
点赞数
分类专栏： 漏洞检测 文章标签： 安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cleveryuan/article/details/124209464
版权
该文章探讨了利用机器学习技术进行自动化软件漏洞检测的方法。文章介绍了一个基于抽象语法树（AST）的整体架构，其中AST节点通过分布式向量表示。通过连续二叉树模型解决了非叶节点子节点数量不一致的问题，使用树卷积神经网络（TBCNN）在AST上滑动提取结构信息，并结合动态池化处理。实验结果显示，这种方法能有效地提取AST的结构特征，适用于软件漏洞检测。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

系列文章目录

读论文系列(一)Automated software vulnerability detection with machine learning

文章目录

Keywards

抽象语法树（AST）
树卷积神经网络（TBCNN）Tree-Based Convolutional Neural Network
连续二叉树

Overall Architecture(整体架构)

在这里插入图片描述
AST节点首先被表示为一个分布式实值向量
tree-based convolution kernel 基于树的卷积核，在AST上滑动提取提取程序的结构信息
通过dynamic pooling来收集信息
加上一个隐藏层
输出层最后使用softmax

Representation Learning for AST Nodes

Vector representations（embeddings） 向量表示的大致过程

在这里插入图片描述
对于每个非叶节点p及其直接子节点 c1 …cn
在这里插入图片描述
叶子节点ci的权重矩阵
在这里插入图片描述
偏执bias
在这里插入图片描述
li是叶节点的权重系数
在这里插入图片描述

连续二叉树的提出

原因：非叶节点的子节点数目不同，导致叶子节点的权重矩阵不同
为了克服这一问题，引出连续二叉树
只有两个权重矩阵作为模型参数
在这里插入图片描述
Wi 是两个参数矩阵根据节点位置的线性组合

Coding Layer

在对所有的特征进行预训练后，将其丢进模型进行训练
对于叶子节点，只是将预训练阶段学习的向量表示
对于非叶节点p，它有两种表示法：在预训练阶段学习的表示法
编码的表示法
其公式如下
在这里插入图片描述

组合参数
在这里插入图片描述

Tree-based Convolutional Layer

在这里插入图片描述
我的理解是：
这个虚线三角形是一个特殊的卷积核，通过在树上滑动来提取特征（一般卷积是个矩阵的kernel，但在该模型中，则表示为树的深度，如图，深度设置为2）
滑动到底层没有那么多的节点的时候，就填0
输出
在这里插入图片描述
在这里插入图片描述 维数为卷积核的个数
在这里插入图片描述

Dynamic Pooling

在卷积之后，提取AST中的结构特征，并生成新的树。新树的形状和大小与原始树完全相同，但在不同的程序中有所不同。因此，提取的特征不能直接输入到固定大小的神经层。动态池用于解决这个问题。

最简单的方法可能是将所有特征汇集到一个向量中。我们称之为单向池。具体来说，每个维度的最大值取自基于树的卷积检测的特征。我们还提出了一种替代方案，即三向池，根据特征在AST中的位置，将特征池分成三个部分：顶部、左下方和右下方（图2b）。正如我们将从实验结果中看到的，简单的单向池和三向池一样有效。因此，我们在实验中采用了单向池。
合并后，特征完全连接到隐藏层，然后馈送到输出层（softmax）进行监督分类。通过动态池过程，整个AST的结构特征以短路径到达输出层。因此，可以通过反向传播有效地训练它们。

The “Continuous Binary Tree” Model

在我们的模型中，我们将任何子树视为“二叉”树，无论其大小和形状如何。也就是说，我们只有三个权矩阵作为卷积的参数，两个用于编码。我们称之为连续二叉树。

直接贴图
卷积的三个参数
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Wconv 和三个参数的系数关系
参数计算

在这里插入图片描述
所有参数
在这里插入图片描述

Experiments

关于数据集部分，论文原文给了明确解释

result

在这里插入图片描述
在这里插入图片描述

Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5675
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
cvpr2015papers
ZhangPY的专栏
03-02 9192
@http://www-cs-faculty.stanford.edu/people/karpathy/cvpr2015papers/ CVPR 2015 papers (in nicer format than this) maintained by @karpathy NEW: This year I also embedded the (1,2-gram) tfidf
Tree-Based Convolutional Neural Networks
05-21
Tree-Based Convolutional Neural Networks，Lili Mou • Zhi Jin。2018年新书，介绍基于树构造的卷积神经网络。
TBCNN
Dorabox的博客
07-01 1040
TBCNN 基于树的卷积神经网络
深度学习论文阅读：Convolutional Neural Networks for Sentence Classification （TextCNN）
guangyacyb的博客
03-07 1853
这是一篇将CNN运用于句子分类的论文 摘要 We report on a series of experiments with convolutional neural networks (CNN) trained on top of pre-trained word vectors for sentence-level classification tasks. We show that ...
论文阅读：《Convolutional Neural Networks for Sentence Classification》
04-26 1999
我们报告了一系列卷积神经网络（CNN）的实验，这些卷积神经网络是在预先训练过的词语向量的基础上进行训练以进行句子级别的分类任务。我们展示了一个简单的CNN，带有超级参数调整和静态向量，可以在多个基准测试中取得优异的结果。通过微调学习特定于任务的矢量可提高性能。我们另外建议对体系结构进行简单的修改，以允许使用任务特定和静态向量。本文讨论的CNN模型改进了7项任务中的4项任务的现有技术水平，其中包括情感分析和问题分类。
论文阅读：Convolutional Neural Networks for No-Reference Image Quality Assessment
haiyanyanya的博客
04-26 1551
摘要： 以图像补丁作为输入，在空间域中工作，而不使用以前大多数方法所使用的手工特征。该网络由一个具有最大和最小池的卷积层、两个完全连接的层和一个输出节点组成。在网络结构中，特征学习和回归被集成到一个优化过程中，从而产生一个更有效的图像质量估计模型。 1.NR-IQA的CNN 给定灰度图像，我们首先执行对比度归一化，然后从中采样不重叠的补丁。使用CNN来估计每个补丁的质量分数，并对补丁分数进行平均，以获得图像的质量估计。 1.1网络结构 1.2局部归一化 假设位置（i，j）isI（i，j）
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
TBCNN 源码
08-27
用于编程语言处理的树结构卷积神经网络,Convolutional Neural Networks over Tree Structures for Programming Language Processing TBCNN 源码 python
Diffusion-Convolutional Neural Networks论文笔记
昼
11-03 498
Diffusion-Convolutional Neural Networks论文笔记 Core 这篇文章提出了hop的概念，使一个节点能够关注到与它距离更远的节点，而不仅限于一阶邻居。 网络介绍 这篇论文主要针对三种分类任务。 1. 节点分类 1.1 输入 输入为两个矩阵，分别为矩阵P和矩阵X。X为图的特征矩阵（N*F)，P则是多个类似于邻接矩阵的矩阵叠加而成，也是本篇论文的核心‘hop’。 对于网络而言，hop是一个超参，当hop=1时，则P就代表着邻接矩阵；当hop=2时，P代表着邻接矩阵加上与该节
论文笔记（NLP）——Convolutional Neural Networks for Sentence Classification
大太阳
05-22 324
摘要 本篇论文报告了一系列用预训练词向量上训练的CNN进行句子级分类任务的实验。展示了有少量参数调整和静态向量的简单的CNN在多个基准上达到了很好的效果。通过微调学习特定任务的向量能够进一步提高性能。另外本篇论文对结构进行简单的修改以允许使用特定任务和静态向量。本文讨论的CNN提高了7个任务中的4个技术，包括情感分析和问题分类。 ...
CNN在文本分类的应用(内有代码实现) 论文Convolutional Neural Networks for Sentence Classification
u010960155的博客
07-31 1万+
一、CNN文本分类简介 文本分类是NLP领域的一个重要子任务，文本分类的目标是自动的将文本打上已经定义好的标签，常见的文本分类任务有： 用户评论的情感识别 垃圾邮件过滤 用户查询意图识别 新闻分类 由此看出文本分类的用途十分之广，包括知识图谱领域的关系抽取任务也是使用文本分类实现的。 有很多经典的统计学习方法可以用来做文本分类，比如SVM，LR，MaxEnt等等。这些方法的一般流程是标...
《Convolutional Neural Networks for Sentence Classification》论文研读
Findingxu的博客
03-23 583
一、论文梗概： 提出了如何有效利用CNN进行句级别的分类任务进行了实验对比验证。 Introduction:提到CNN用于NLP的背景，前人做过的工作，并且解释CNN应用在NLP任务上的合理性。 Model: 介绍了本文提出的有static和none-stati两种channel的用于句级别分类的CNN模型结构，并进行公式推演。 Datasets and Experimental Set...
论文笔记：Recurrent Convolutional Neural Networks for Text Classification
vivian_ll的博客
07-09 7256
1 Abstract 文本分类是NLP的一项重要的基础任务。传统的文本分类需要特征工程，需要人类参与。而深度学习能够自动提取特征不需要人的参与。本文采用周期循环神经网络比卷积神经网络能够更加减少噪声，利用最大池化层选取一句话中最重要的特征。首先在学习词的表达的时候，采用双向循环结构获取文本信息，比传统的基于窗口的神经网络更能减少噪声，而且在学习文本表达时可以大范围的保留词序。其次使用最大池化层获...
ImageNet Classification with Deep Convolutional Neural Networks经典论文
m0_63520910的博客
04-13 2915
来自B站视频​​​​​​【论文复现代码数据集见置顶评论】3小时高效复现CV计算机视觉经典论文！论文精讲&代码复现：目标检测、图像分类、图像分割、轻量化网络、GAN、OCR_哔哩哔哩_bilibili 博客-ImageNet Classification with Deep Convolutional Neural Networks论文解读 - 知乎 1、研究背景 AlexNet成功的两个因素，第一个是数据集，第二个是强大的计算资源。 AlexNet的研究意义 一...
论文解读二代GCN《Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering》
www_xuhss_com的博客
01-18 1417
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 Paper Information Title：Convolutional Neural Networks on Graphs with Fast Localized Spectral FilteringAuthors：Michaël DefferrardXavier Bre
《diffusion-convolutional neural networks》论文阅读
ptxx_p的博客
09-04 1487
abstract 本文提出了针对于图结构数据的模型：diffusion-convolutional neural networks（DCNN）。本文展示了如何通过图结构数据学习到基于传播的数据并被有效用于节点分类。DCNN有很多优秀的特质：图结构的潜在表征在同构的情况下是不变的，计算过程可以被视为可以在多项式时间下完成的向量操作，并能够被有效扩展到GPU之上。通过实验证明，DCNNs在关系节点分类任务上超越了概率关系模型以及图上的核方法。 1.introduction 处理结构数据很具有挑战性。一方面，如果
convolutional neural networks for sentence classification
最新发布
06-28
### 回答1： 卷积神经网络 (Convolutional Neural Networks, CNN) 是一种常用于文本分类的深度学习模型。它通过卷积和池化层来提取文本中的特征，并使用全连接层来进行分类。 CNN 的一个优点是能够处理变长的输入，并且不需要对文本进行预处理。 ### 回答2： 卷积神经网络是一种深度学习方法，用于对文本进行分类。在训练过程中，这种网络可以自动学习输入数据的特征表示。卷积神经网络中的卷积层可以识别输入中的局部模式，这些局部模式组合起来形成更高级别的特征，最终帮助分类器确定类别。对于文本分类问题，卷积神经网络的输入是文本的词嵌入向量，可以从先验知识中自动学习特征。 在一些文本分类任务中，卷积神经网络已经取得了很好的表现。文本分类任务通常被分为两种类型：二元分类和多分类。二元分类任务是指将数据分为两类，例如垃圾邮件和非垃圾邮件。多类分类任务是指将数据分为多类，例如新闻分类。在这两种任务中，卷积神经网络都能够进行有效的分类。 对于二元分类任务，卷积神经网络可以使用一个输出节点，并使用 sigmoid 激活函数将输入映射到 0 到 1 之间的概率。对于多分类任务，卷积神经网络可以使用多个输出节点，每个节点对应一个类别，并使用 softmax 激活函数将输入映射到 0 到 1 之间，并且所有输出节点的和为 1。 要训练卷积神经网络进行文本分类，需要对模型进行三个主要的训练步骤。首先，需要构建词嵌入矩阵，该矩阵将文本中的每个词都映射到一个向量。然后，需要将文本数据转换为卷积神经网络所需的格式。最后，需要对模型进行训练，并根据测试数据进行评估。 总之，卷积神经网络已经被证明是一种强大的工具，可以用于文本分类等任务。在处理文本数据时，卷积神经网络可以自动学习输入数据的特征表示，并使用这些特征来确定文本的类别。 ### 回答3： 卷积神经网络（CNN）是一种深度学习模型，它在图像识别、计算机视觉和自然语言处理中表现出色。最近几年，CNN 在句子分类中也获得了很大的成功。 CNN 句子分类模型的输入是一个序列，输出是类别标签。与传统的 RNN 模型不同之处在于，CNN 可以使每个神经元只能捕获一个固定大小的区域的特征，从而加快模型的训练和降低了模型的复杂度。 CNN 句子分类模型的基本架构包括词嵌入层、卷积层、池化层和全连接层。词嵌入层将输入的文本转化为向量表示。卷积层通过滑动窗口对输入的序列进行卷积操作，提取出局部特征。池化层在每个滑动窗口上提取出一个最大值或平均值，进一步降低维度。最后，全连接层将提取出的特征传递到输出层进行分类。 CNN 句子分类模型的优点在于它可以处理不定长的文本序列，并在仅有少量特征的情况下表现出色。但是，CNN 模型的缺点在于不善于处理长期依赖关系，例如情感分析中的Irony识别。为了解决这个问题，可以引入 RNN 或 Transformer 等模型。 总的来说，CNN 模型为句子分类问题提供了一个简单有效的解决方案。在实践中，需要根据具体的任务选择合适的模型结构和参数设置，才能取得最佳效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值