【每日论文】o3-mini vs DeepSeek-R1: Which One is Safer?

下载PDF或查看论文，请点击：LlamaFactory - huggingface daily paper - 每日论文解读 | LlamaFactory | LlamaFactory

摘要

DeepSeek-R1的问世对整个AI行业，尤其是大型语言模型（LLMs）来说，标志着转折点。它在包括创造性思维、代码生成、数学和自动程序修复等多项任务中展现了卓越的性能，且似乎在执行成本上更低。然而，LLMs必须遵守一个重要的定性属性，即它们与安全性和人类价值观的对齐。DeepSeek-R1的一个明显竞争对手是美国的OpenAI公司推出的o3-mini模型，该模型预计将在性能、安全性和成本方面设定高标准。在本文中，我们对DeepSeek-R1（70b版本）和OpenAI的o3-mini（beta版本）的安全性进行了系统评估。为此，我们利用我们最近发布的自动化安全测试工具，名为ASTRAL。通过利用这个工具，我们自动且系统地在这两个模型上生成了总共1260个不安全测试输入。在对两个LLM提供的输出进行半自动化评估后，结果显示与OpenAI的o3-mini相比，DeepSeek-R1的安全性极低。根据我们的评估，DeepSeek-R1对11.98%的执行提示做出了不安全的回应，而o3-mini则只有1.19%。

一句话总结

本论文通过对比DeepSeek-R1和OpenAI的o3-mini模型在安全性方面的表现，得出o3-mini在处理不安全提示时的安全性高于DeepSeek-R1。

问题1：这篇论文想要解决什么具体问题？

• 问题背景：随着大型语言模型（LLMs）的普及，确保其输出内容符合人类价值观和安全标准变得至关重要。 • 现有方案不足：目前的安全测试方法存在结构固定、数据不平衡等问题，且需要大量手动工作。 • 研究目标：评估DeepSeek-R1和o3-mini在处理不安全提示时的安全性，并比较它们之间的差异。

问题2：论文的核心创新点是什么？

• 技术创新：开发了一种名为ASTRAL的自动化安全测试工具，可以自动生成、执行和评估LLMs的安全性。 • 方法改进：利用ASTRAL生成1260个不安全测试输入，覆盖不同安全类别、写作风格和说服技巧。 • 优势：ASTRAL能够自动生成平衡的测试输入，提高测试效率和准确性。

问题3：实验结果如何验证了方法的有效性？

• 关键实验：使用ASTRAL对DeepSeek-R1和o3-mini进行安全性测试。 • 性能提升：DeepSeek-R1在不安全提示下的回答不安全率高达11.98%，而o3-mini仅为1.19%。 • 对比结果：DeepSeek-R1在不安全提示下的回答不安全率是o3-mini的10倍。

问题4：这个研究的实际应用价值是什么？

• 应用场景：为LLMs的安全评估提供了一种有效的方法，有助于提高LLMs在各个领域的应用安全性。 • 实施建议：LLMs开发者应关注ASTRAL等自动化安全测试工具的应用，以提高LLMs的安全性。 • 局限与展望：ASTRAL需要进一步改进，以处理更多类型的测试输入和更复杂的LLMs。