阅读笔记-Security Code Review by LLMs: A Deep Dive into Responses

1. 研究背景：
   随着大型语言模型（LLMs）在软件开发任务中的潜力逐渐显现，例如代码补全、程序修复和测试用例生成，将LLMs更深入地整合到开发者的工作流程中以解决更具挑战性的任务成为了可能。代码审查是软件开发中早期发现安全缺陷的关键阶段。LLMs的快速发展为自动化安全缺陷检测开辟了新途径。与传统技术相比，LLMs在生成自然语言输出和支持用户友好交互方面具有优势。它们在与人类协作进行复杂推理任务（如安全代码审查）方面的潜力值得研究。然而，先前的研究显示，LLMs在现实世界数据集中的安全缺陷检测能力有限。一些工作通过增强提示或向模型添加组件来提高LLMs的有效性，但大多数研究仅关注评估和提高LLMs的性能，而没有深入探讨潜在问题。特别是，LLMs在现实世界代码审查中识别安全缺陷时生成的响应中存在的质量问题，这些质量问题可以作为未来改进的指标，尚未被探索。

2. 过去方案和缺点：
   以往的研究主要集中在评估和提高LLMs的性能上，而没有深入分析LLMs生成的响应中存在的问题。例如，ChatGPT在安全缺陷检测方面的性能有限，且在现实世界数据集上的表现不佳。此外，尽管有研究尝试通过增强提示或模型组件来提升LLMs的效果，但这些方法并未充分解决LLMs在安全代码审查中的实际应用问题。

3. 本文方案和步骤：
   本研究选择了三种代表性的LLMs（Gemini Pro、GPT-4和GPT-3.5），并在五个不同的提示下比较了它们在安全缺陷检测中的性能。研究使用了包含来自OpenStack的Nova和Neutron项目以及Qt的Base和Creator项目的代码审查数据集。研究者设计了五种提示模板，以优化LLMs在下游任务中的性能。通过手动检查LLMs生成的响应内容、相应的源代码和审查者识别的安全缺陷，对这些响应进行了分类。然后，研究者从最佳LLM-提示组合生成的82个响应中提取和分析了质量问题。

4. 本文实验和性能：
   实验结果表明，所有三种LLMs在检测安全缺陷方面的表现都非常低，但GPT-4的表现优于GPT-3.5和Gemini Pro。在GPT-4中，使用提示P𝐴?𝐴?𝐴?的组合在IH-Score（14.45%）上表现最佳，同时具有相对较高的I-Score（5.50%）和相对较低的M-Score（38.52%）。研究者进一步分析了这种最佳组合生成的82个响应中的质量问题，发现LLMs的响应通常存在冗长、模糊和不完整的问题，这强调了提高其简洁性、可理解性和符合安全缺陷检测的必要性。

阅读总结报告：
本文深入研究了LLMs在自动化安全代码审查中的挑战。通过比较三种流行的LLMs（GPT-3.5、GPT-4和Gemini Pro）在不同提示下的性能，研究发现这些模型在检测安全缺陷方面的表现不佳。GPT-4在安全缺陷检测响应中频繁出现的问题，如冗长、模糊和不完整，指出了进一步改进的关键领域。未来的工作可能包括分析LLMs生成的响应以识别未检测到的安全缺陷的原因，探索不同提示对响应中质量问题的存在和分布的影响，以及检查研究中不一致缺陷的存在，以区分这些是审查者的疏忽还是LLMs的误报。