m0_73736695的博客

作者提出了一种新方法：结合大语言模型（LLM）和启发式规则来自动识别真正的漏洞修复修改，并构建了一个高质量的数据集CleanVul

本文研究了大语言模型（LLMs）在生成安全攻击检测器中的鲁棒性问题。尽管LLMs在生成代码方面具有显著的优势，尤其是在自动化编程和软件开发中，LLMs在生成有效的安全功能（如攻击检测器）时却存在困难，可能会遗漏一些已知的攻击。

本论文的贡献在于提出了一种全新的种子生成方法——SeedMind，该方法基于大语言模型（LLMs），并通过创新的反馈机制，解决了传统种子生成技术的局限性。实验结果表明，SeedMind在多个实际测试中表现出色，其生成的种子在质量和效率上均超越了现有的基于LLM的解决方案。

《2024年漏洞与威胁趋势报告》深度解读

本文探讨了如何利用人工智能（AI）来修复开源软件系统中安全漏洞，特别是通过 OSS-Fuzz 平台进行的模糊测试。

本文提出了 Pipe-Cleaner 系统，通过灵活的安全策略和标签基础的运行时监控，允许开发者定制检测策略和报告内容。

2024 年数据泄露调查报告》正式发布，该报告详细阐述了由网络安全威胁导致的数据泄露等重要信息，为深入了解网络安全风险格局提供了全面而深入的视角。若希望获取报告的详细原文以及精准翻译文稿，可加入知识星球查看全文。

研究者设计并实现了FIRMRCA，一个专门针对嵌入式固件的实用故障定位框架。FIRMRCA引入了一种基于事件的痕迹收集方法，通过在崩溃重现过程中利用具体的内存访问，显著加快了逆向执行过程。为了解决复杂的内存别名问题，FIRMRCA提出了一种基于历史驱动的方法，通过追踪数据在执行轨迹中的传播，能够精确识别崩溃的深层根源。最后，FIRMRCA还提出了一种新颖的策略，能够突出与根因相关的关键指令，为最终的调查工作提供了实用的指导。

这种攻击的核心是利用 CDN 在转发请求时的流量放大机制，特别是在某些情况下，CDN 会将小型请求（如 HEAD 或条件请求）转换为带有完整响应体的 GET 请求，实现流量显著放大。3）消息体的差异：在请求的消息体方面，部分CDN会删除GET/HEAD请求中的消息体，这种处理方式可能导致源服务器返回错误的状态码，进而引发CPDoS攻击。最终，研究者选择UCT-Rand作为本次实验的生成算法，并通过该算法成功识别了CDN转发请求中的多种不一致性，发现了新的DoS攻击风险，尤其是在请求方法和头部字段的处理上。

清华大学、泉城实验室、中关村实验室、百度和云起无垠联合撰写的论文《Internet’s Invisible Enemy: Detecting and Measuring Web Cache Poisoning in the Wild》（链接：https://www.jianjunchen.com/p/web-cache-posioning.CCS24.pdf）被全球知名网络安全会议四大顶会之一的 CCS'24收录。

本论文聚焦于Web渗透测试这一关键安全领域，旨在探讨基于大语言模型（LLMs）的AI代理在端到端自动化渗透测试任务中的潜力。

本研究提出了一个名为AttackQA的网络安全问答（Q&A）数据集，专为支持安全运营中心（SOC）分析师设计。该数据集基于MITRE ATT&CK知识库开发，包含25,335对问答及其推理，80%的内容由开源LLM自动生成。

美国国家标准与技术研究院（NIST）发布的《可信与负责任的人工智能》报告，聚焦于对抗性机器学习（AML）领域，旨在构建一个全面的概念分类体系，并明确相关术语定义，为保障人工智能系统的安全提供坚实的理论基础和实践指导。

本文提出了一种利用微软AI驱动的安全技术实现工业环境中网络威胁情报（CTI）自动化的新方法。

RobustKV提供了一种创新的越狱攻击防御手段，通过在LLM的KV缓存中策略性地清除恶意查询相关标记，削弱了恶意查询的存在感，有效阻止了模型生成恶意响应。与传统防御策略不同，RobustKV通过精细的KV逐出设计，实现了对越狱攻击的高度抑制，既保持了模型对良性查询的响应质量，也在恶意查询的生成上增加了攻击者规避防御的难度。与传统防御方法不同，RobustKV通过对大语言模型的KV缓存进行优化，选择性地清除恶意查询中低重要性标记的KV值，降低攻击者通过调整提示词逃避防御的成功率，增强了模型的防御能力。

近年来，大语言模型（LLMs）的发展为这一领域带来了新的可能性，通过充分利用其在自然语言处理中的能力，研究者希望能提升渗透测试的准确性和效率。这一开放的基准不仅促进学术研究与发展，也为行业实践提供指导，推动模型的持续改进，为网络安全的提升贡献力量。本研究旨在创建一个系统性的框架，以评估大语言模型（LLMs）在渗透测试中的应用潜力，推动自动化渗透测试的标准化和有效性。引入开放评估基准，帮助研究人员和从业者更好地理解和利用LLMs在识别系统漏洞方面的能力，促进模型持续改进和创新，提升渗透测试的效率和准确性。

本论文的贡献在于提出了一种新的基于自注意力机制的漏洞定位方法，LOVA。通过系统性跟踪和分析代码的注意力权重，LOVA能有效识别复杂代码库中的潜在漏洞。研究结果表明，LOVA显著提高漏洞定位的准确性，展示其在软件安全领域的广泛应用潜力。期待未来研究进一步优化此方法，为自动化漏洞检测开辟新途径。

《人工智能网络安全现状（2024）》深度解读：机遇、挑战与应对策略

这篇论文研究了大语言模型（LLMs）在内容安全检测领域的广泛应用，尤其是其与安全检测代理结合后的盲目信任问题。作者提出了一种称为"伪造代理攻击"（Feign Agent Attack, F2A）的新型攻击手段，通过伪造的安全检测结果绕过LLM的防御机制，进而让LLM输出有害内容。

这篇论文提出了一种创新性的防御框架——RePD，用于应对针对大语言模型（LLMs）的越狱攻击。

本论文提出了一个名为APOLLO的工具，它基于OpenAI的GPT-4o模型，旨在检测网络钓鱼邮件并生成解释信息来警告用户。

本论文介绍了PathSeeker，一种新型的基于强化学习的黑盒越狱攻击方法，旨在通过探索大语言模型（LLMs）的安全漏洞，破坏其安全防御机制。

实验结果表明，RED QUEEN 攻击在所有测试的大语言模型（LLM）上都表现出显著的有效性，尤其是在多轮次对话的隐蔽攻击场景中。此外，不同的攻击场景对成功率也有影响，职业背景（如警察、侦探）的场景中，模型更容易生成详细的恶意计划，而亲密关系场景（如朋友、亲属）下的攻击成功率相对较低。为了解决这一问题，本文提出了一种新的越狱攻击方法——RED QUEEN 攻击，该方法通过在多轮次对话中伪装善意请求，隐藏恶意意图，从而绕过模型的安全防护。此外，研究表明，模型越大，越容易受到此类攻击的影响。

论文提出了一种名为APILOT的系统，它通过实时更新过时API的数据集，并结合增强生成方法，引导LLMs生成版本感知的安全代码。

本文不仅探讨了红队在生成式AI中的应用，还详细介绍了蓝队在防护这些对抗性攻击中的工作方式。

该论文提出了一种新颖的越狱攻击框架。该方法基于模糊测试技术，不再依赖于手动设计的越狱模板，能够自动生成语义一致且简短的提示词，并通过两级判别模块来准确检测成功的越狱行为。

本文提出了PROMPTFUZZ，一个创新框架，用于测试大语言模型（LLMs）在提示注入攻击下的鲁棒性。

本文提出了AutoSafeCoder，一个多智能体框架，旨在通过静态分析和模糊测试来增强（LLM）生成代码的安全性。

本文研究了大语言模型（LLMs）在多种编程语言中检测和分类软件漏洞的有效性。重点评估了GPT-3.5 Turbo、GPT-4 Turbo、GPT-4o、CodeLlama-7B、CodeLlama-13B和Gemini 1.5 Pro六种预训练LLMs在Python、C、C++、Java和JavaScript五种语言中的表现。

在初始化阶段，红队模型和目标模型分别使用不同的数据集进行微调，以增强红队模型生成对抗性提示的能力和目标模型的指令遵循能力。此外，实验还发现，SEAS框架能够在保持模型通用能力的同时，显著增强其抵御攻击的能力。传统方法通常无法有效揭示模型的潜在漏洞，因此，SEAS框架旨在通过自我进化的方式，迭代提升红队模型和目标模型的能力，从而在无需人工干预的情况下增强LLMs的安全性能。SEAS框架的核心优势在于减少了对人工测试的依赖，提供了一种自动化的、安全性持续提升的解决方案，为LLMs的安全部署提供了强有力的支持。

本论文提出名为 Atlas 的创新框架，以探索和揭示先进文本到图像（T2I）生成模型的安全漏洞。随着生成式 AI 技术发展，T2I 模型因易用性和高质量图像生成能力受欢迎，但存在生成敏感或不适宜内容风险，现有安全措施主要依赖安全过滤器，有效性受到了挑战。

在当今软件安全领域，研究人员对高质量漏洞数据集的需求日益增加。现有的数据集往往规模有限、更新缓慢，且缺乏支持深入分析的元数据。为解决这些问题，本文提出了ARVO，一个专为开源软件创建的可重现漏洞全景图。

本文提出了一个基于区块链的环形振荡器-奇异值分解（RO-SVD）框架，首次在硬件层面实现了AI生成内容（AIGC）的版权追溯。3. 引入奇异值分解（SVD）：研究者首次将SVD作为一种强大的计算组件，引入到FPGA生成的矩阵基础原语中，作为物理不可克隆函数（PUF）和真随机数生成器（TRNG）的协同设计，用于大规模内容管理和标记。本文提出了一个基于区块链的版权追溯框架，称为环形振荡器-奇异值分解（RO-SVD），该框架利用硬件熵源生成的低秩矩阵，在设备层面实现AI生成内容（AIGC）的版权追溯。

本文提出了一种利用大语言模型（LLMs，如GPT-4）的AI智能体，以自动化处理CTI报告中的重复性任务。

研究者提出了一种专门为大型视觉语言模型（VLMs）设计的红队框架 Arondight，以解决现有红队测试方法在 VLMs 应用中的不足。

本文介绍了MoRSE（Mixture of RAGs Security Experts），这是首个专为网络安全设计的AI聊天机器人。MoRSE利用两个并行工作的RAG（检索增强生成）系统，从多维网络安全背景中检索并组织信息。

本文探讨了生成式AI驱动的企业聊天机器人的构建。检索增强生成（RAG）、大语言模型（LLM）、Langchain/Llamaindex等LLM编排框架是构建生成式AI聊天机器人的关键技术组件。

本文提出了LLMCloudHunter，这是一个新颖的框架，利用大语言模型（LLMs）从文本和视觉OSCTI数据中自动生成通用签名检测规则候选。

本文研究了检索增强生成（RAG）技术支持的大语言模型（LLMs）在各种应用场景中的有效解决方案。然而，开发者在将RAG增强的LLMs集成到软件系统时面临许多挑战，包括接口规范的缺失、软件上下文的需求以及复杂的系统管理。通过对100个开源应用程序及其问题报告的手动研究，发现超过98%的应用程序存在多个集成缺陷，影响了软件功能、效率和安全性。

本文提出了一种面向表内容感知的自检索文本到SQL（TCSR-SQL）方法。该方法利用LLM的上下文学习能力，从问题中提取数据内容关键词并推断可能相关的数据库模式，通过模糊搜索数据库生成初始SQL，并在多轮生成-执行-修正过程中不断优化，最终生成精确的SQL。