论文阅读-Transformer-based language models for software vulnerability detection

 「分享了一批文献给你，请您通过浏览器打开
https://www.ivysci.com/web/share/biblios/D2xqz52xQJ4RKceFXAFaDU/
您还可以一键导入到 ivySCI 文献管理软件阅读，并在论文中引用 」

本文主旨：本文提出了一个系统的框架来利用基于Transformer的语言模型来检测软件漏洞。该框架包括以下几个步骤：

1. 源代码翻译：将C/C++高级编程语言的源代码转换为能输入transformer的格式。这样做是为了利用自然语言与高级编程语言之间的相似性。

2. 模型准备：使用大规模的基于Transformer的语言模型进行训练和微调。其中，本文主要考虑了BERT (Bidirectional Encoder Representations from Transformers) 模型和GPT (Generative Pre-trained Transformer) 模型。

3. 推断：将经过翻译的源代码注释片段输入到训练好的语言模型中，以进行软件漏洞的检测。语言模型将根据上下文理解注释和代码的关系，并判断是否存在潜在的漏洞。

通过这个框架，可以利用Transformer-based语言模型来自动检测软件漏洞，并且相比传统的基于RNN的模型，语言模型在漏洞检测方面具有更好的性能表现。

本文的创新点：

简而言之就是，将软件的源代码转换成自然语言，通过transformer来推断源代码有没有漏洞。

---