云起无垠-CSDN博客

原创技术分享 | 大语言模型赋能软件测试：开启智能软件安全新时代

伴随大模型和 AIGC 等技术的持续蓬勃发展，软件安全检测技术正经历着一场前所未有的深刻变革。

2024-11-04 09:39:22 417

原创【论文速读】| RED QUEEN: 保护大语言模型免受隐蔽多轮越狱攻击

实验结果表明，RED QUEEN 攻击在所有测试的大语言模型（LLM）上都表现出显著的有效性，尤其是在多轮次对话的隐蔽攻击场景中。此外，不同的攻击场景对成功率也有影响，职业背景（如警察、侦探）的场景中，模型更容易生成详细的恶意计划，而亲密关系场景（如朋友、亲属）下的攻击成功率相对较低。为了解决这一问题，本文提出了一种新的越狱攻击方法——RED QUEEN 攻击，该方法通过在多轮次对话中伪装善意请求，隐藏恶意意图，从而绕过模型的安全防护。此外，研究表明，模型越大，越容易受到此类攻击的影响。

2024-11-01 15:50:01 563

原创【论文速读】| APILOT：通过避开过时API陷阱，引导大语言模型生成安全代码

论文提出了一种名为APILOT的系统，它通过实时更新过时API的数据集，并结合增强生成方法，引导LLMs生成版本感知的安全代码。

2024-11-01 10:15:14 1109

原创第72期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

2024-10-31 18:29:13 743

原创技术分享 | 大语言模型增强灰盒模糊测试技术探索

本文旨在深入探讨大语言模型如何增强灰盒模糊测试技术，并展望其在未来测试领域的应用前景。

2024-10-28 18:38:06 1206

原创 AI安全智能体，重塑网络安全新范式

人工智能（AI）和大模型技术为网络安全带来了全新的变革，赋予了其新的能力。通过实现威胁检测与响应的自动化、实时数据分析以及复杂算法的运用，AI能够缩短网络攻击的响应时间，加速威胁的识别与处理，并及时部署防御措施。这种积极的防护模式正在重塑网络安全的范式。

2024-10-28 17:52:21 666

原创【论文速读】| 攻击图谱：从实践者的角度看生成式人工智能红队测试中的挑战与陷阱

本文不仅探讨了红队在生成式AI中的应用，还详细介绍了蓝队在防护这些对抗性攻击中的工作方式。

2024-10-25 09:29:18 681

原创第71期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

2024-10-23 11:32:18 1144

原创【论文速读】| 针对大语言模型的有效且具有规避性的模糊测试驱动越狱攻击

该论文提出了一种新颖的越狱攻击框架。该方法基于模糊测试技术，不再依赖于手动设计的越狱模板，能够自动生成语义一致且简短的提示词，并通过两级判别模块来准确检测成功的越狱行为。

2024-10-18 15:02:23 708

原创【论文速读】|PROMPTFUZZ：利用模糊测试技术对大语言模型中的提示注入进行鲁棒性测试

本文提出了PROMPTFUZZ，一个创新框架，用于测试大语言模型（LLMs）在提示注入攻击下的鲁棒性。

2024-10-16 16:54:28 919

原创第70期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

2024-10-15 11:16:48 990

原创【论文速读】| AutoSafeCoder：通过静态分析和模糊测试保障LLM代码生成安全的多智能体框架

本文提出了AutoSafeCoder，一个多智能体框架，旨在通过静态分析和模糊测试来增强（LLM）生成代码的安全性。

2024-10-12 09:34:29 647

原创【论文速读】|用于安全代码评估的大语言模型：一项多语言实证研究

本文研究了大语言模型（LLMs）在多种编程语言中检测和分类软件漏洞的有效性。重点评估了GPT-3.5 Turbo、GPT-4 Turbo、GPT-4o、CodeLlama-7B、CodeLlama-13B和Gemini 1.5 Pro六种预训练LLMs在Python、C、C++、Java和JavaScript五种语言中的表现。

2024-10-10 11:42:22 1020

原创第69期 | GPTSecurity周报

在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。

2024-10-09 10:13:12 711

原创 “AI+Security”系列第3期（七）：智能体车企落地实践

近日，由安全极客、Wisemodel 社区、InForSec 网络安全研究国际学术论坛和海升集团联合主办的 “AI + Security” 系列第 3 期技术沙龙 ——“AI 安全智能体，重塑安全团队工作范式” 活动顺利举行。此次活动备受关注，吸引了线上线下超过千名观众参与。在活动中，木卫四科技解决方案总监 Steven Chen分享了安全智能体在车企的落地实践。

2024-09-29 10:13:30 388

原创 “AI+Security”系列第3期（六）：打造最懂安全的智能体-无极AI安全智能体平台落地与实践

云起无垠创始人兼 CEO 沈凯文博士发表了题为 “打造最懂安全的 AI 智能体：无极 AI 安全智能体平台落地与实践” 的主题演讲，从落地应用的角度深入阐述了 AI 安全智能体的实践应用情况。

2024-09-27 11:39:36 566

原创实力！云起无垠荣获“创业邦2024年AIGC创新企业及产品创新”双奖

云起无垠凭借卓越的企业能力与突出的产品创新，成功入选 “2024 年 AIGC 创新企业 100 强” 以及 “2024 年 AIGC 产品创新 100 强”。

2024-09-26 18:30:07 315

原创 “AI+Security”系列第3期（五）：AI技术在网络安全领域的本地化应用与挑战

天翼安全高级安全算法专家杨刚发表了题为 “AI 技术在网络安全领域的本地化应用与挑战” 的主题演讲，从网安与 AI 的技术特点、面临的挑战以及本地化之路和未来展望等维度进行了分享

2024-09-26 17:39:19 872

原创 “AI+Security”系列第3期（四）：360安全大模型业务实践

360 数字安全集团安全大模型技术团队负责人黄绍莽发表了题为“360 安全大模型系统”的主题演讲，从大模型赋能数字安全以及 360 安全大模型应用场景探析等角度深入剖析了安全大模型应用，让我们对大模型赋能安全应用有了更为深入的理解。

2024-09-25 14:31:31 1544

原创第68期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

2024-09-24 17:50:41 864

原创 “AI+Security”系列第3期（二）：AI赋能自动化渗透测试

近日，“AI + Security” 系列第 3 期：AI 安全智能体，重塑安全团队工作范式技术沙龙活动正式举行。该活动由安全极客、Wisemodel 社区、InForSec 网络安全研究国际学术论坛和海升集团联合主办，吸引了线上与线下千余名观众参与。

2024-09-23 18:31:11 1062

原创 “AI+Security”系列第3期（一）：AI 安全智能体，重塑安全团队工作范式

近日，“AI + Security” 系列第 3 期：AI 安全智能体，重塑安全团队工作范式技术沙龙活动正式举行。该活动由安全极客、Wisemodel 社区、InForSec 网络安全研究国际学术论坛和海升集团联合主办，吸引了线上与线下千余名观众参与。

2024-09-23 15:11:19 1105

原创云起无垠荣获第九届“创客中国”网络安全专题赛二等奖

近日，第九届 “创客中国” 网络安全中小企业创新创业大赛决赛及颁奖活动圆满结束。在经过层层竞赛之后，大模型驱动的网络安全智能体引领者云起无垠荣获该大赛二等奖。

2024-09-20 18:54:01 766

原创《2024网络安全十大创新方向》发布，云起无垠引领新风向

云起无垠作为国内率先将大模型技术应用于开发安全领域且提出AI安全智能体概念的厂商，被列为典型厂商，展示了其在该领域的落地方案与实践成果。

2024-09-20 12:08:52 344

原创第67期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

2024-09-10 16:41:23 1160

原创【论文速读】| SEAS：大语言模型的自进化对抗性安全优化

在初始化阶段，红队模型和目标模型分别使用不同的数据集进行微调，以增强红队模型生成对抗性提示的能力和目标模型的指令遵循能力。此外，实验还发现，SEAS框架能够在保持模型通用能力的同时，显著增强其抵御攻击的能力。传统方法通常无法有效揭示模型的潜在漏洞，因此，SEAS框架旨在通过自我进化的方式，迭代提升红队模型和目标模型的能力，从而在无需人工干预的情况下增强LLMs的安全性能。SEAS框架的核心优势在于减少了对人工测试的依赖，提供了一种自动化的、安全性持续提升的解决方案，为LLMs的安全部署提供了强有力的支持。

2024-09-05 18:04:54 1177

空空如也

空空如也