OpenAI最新研究：无需大量人工，基于规则奖励改善模型安全行为｜大模型论文日报

玩转AI大模型

已于 2024-08-14 18:55:25 修改

阅读量1.3k

点赞数 9

文章标签：安全人工智能机器学习 dubbo 百度 langchain pytorch

于 2024-07-26 07:45:00 首次发布

本文链接：https://blog.csdn.net/2401_85375298/article/details/140699906

版权

今日值得关注的大模型前沿论文：

OpenAI 最新研究：无需大量人工，基于规则奖励改善模型安全行为

Stability AI 推出 Stable Video 4D

CoD：利用诊断链实现可解释的医疗智能体

Cross Anything：通用四足机器人在复杂地形中导航

INF-LaVA：高分辨率多模态大语言模型的双视角感知

T2V-CompBench：首个合成文生视频模型定制基准

RedAgent：可生成上下文感知越狱提示的多智能体 LLM 系统

想要第一时间获取每日最新大模型热门论文？

请添加微信 Tobethenum1（一定要备注“姓名+职业+公司”，否则不予通过），

小助手会在 24 小时内邀请您加入「大模型技术分享群」。

ps：我们日常会分享日报、周报，后续每月也会出一期月报，敬请期待～

OpenAI 最新研究：

无需大量人工，

基于规则奖励改善模型安全行为

基于人类偏好的大语言模型（LLM）的强化学习微调已被证明可以提升它们的能力和安全行为。然而，在涉及安全的情况下，如果没有向人类标注者提供精确的指示，收集到的数据可能会导致模型变得过于谨慎，或者以不希望的风格回应，例如带有评判性。此外，随着模型能力和使用模式的发展，可能需要花费大量成本来添加或重新标注数据以修改安全行为。

为此，OpenAI 研究团队推出了一种新颖的偏好建模方法，该方法利用人工智能（AI）反馈，并且只需少量的人类数据。他们基于规则的奖励（RBR），使用一组规则来定义期望或非期望的行为（例如，拒绝不应带有评判性），并结合一个 LLM 评分器。

与之前使用 AI 反馈的方法不同，他们的方法在 RL 训练中直接使用细粒度、可组合的、LLM 评分的少量样本提示作为奖励，从而实现了更大的控制、准确性和易于更新。

他们展示了 RBR 是一种有效的训练方法，其 F1 分数达到 97.1，而人类反馈的基线为 91.7，通过更好地平衡有用性和安全性，显著提高了安全行为准确性。

论文链接：

https://cdn.openai.com/rule-based-rewards-for-language-model-safety.pdf

GitHub 地址：

https://github.com/openai/safety-rbr-code-and-data
在这里插入图片描述
02

Stability AI 推出 Stable Video 4D

Stability AI 研究团队推出了 Stable Video 4D （SV4D），这是一种用于生成多帧和多视角一致的动态 3D 内容的潜在视频扩散模型。与之前依赖单独训练的视频生成和新视角合成的生成模型的方法不同，他们设计了一个统一的扩散模型来生成动态 3D 对象的新视角视频。

具体来说，给定一个单目参考视频，SV4D 为每个视频帧生成时间上的一致的新视角。然后，他们使用生成的新视角视频来高效优化一个隐式的 4D 表示（动态 NeRF），无需在大多数先前工作中使用的繁琐的 SDS 基优化。

为了训练该统一的生成新视角视频模型，他们从现有的 Objaverse 数据集中策划了一个动态 3D 对象数据集。在多个数据集上的广泛实验结果和用户研究证明了 SV4D 在新型视角视频合成以及与先前工作相比的 4D 生成方面的先进性能。

论文链接：

https://arxiv.org/pdf/2407.17470

项目地址：

https://stability.ai/news/stable-video-4d

CoD：利用诊断链

实现可解释的医疗智能体

随着大语言模型（LLMs）的出现，医学诊断领域发生了重大变革，但这些模型的可解释性问题在很大程度上仍未得到解决。

提高基于 LLM 的医疗诊断的可解释性，来自深圳市大数据研究院和香港中文大学的研究团队提出了诊断链（Chain-of-Diagnosis，CoD）。

CoD 将诊断过程转化为一个反映医生思维过程的诊断链，提供了一个透明的推理路径。此外，CoD 还能输出疾病可信度分布，确保决策的透明度。这种可解释性使模型诊断具有可控性，并有助于通过降低置信度的熵来识别关键症状，以便进行调查。利用 CoD，他们开发了 DiagnosisGPT，其能够诊断 9604 种疾病。

实验结果表明，DiagnosisGPT 在诊断基准上优于其他 LLM。此外，DiagnosisGPT 还提供了可解释性，同时确保了诊断严谨性的可控性。

论文链接：

https://arxiv.org/abs/2407.13301

GitHub 地址：

https://github.com/FreedomIntelligence/Chain-of-Diagnosis

04

Cross Anything：

通用四足机器人在复杂地形中导航

视觉语言模型（VLM）在各种机器人任务中的应用取得了显著的成就，但用于四足机器人导航的基础模型却鲜有探索。

来自上海期智研究院、浙江大学和上海交通大学的研究团队提出了由高级推理模块和低级控制策略组成的创新系统—Cross Anything System（CAS），它使机器人能够在复杂的 3D 地形中导航并到达目标位置。在高级推理和运动规划方面，他们提出了一种利用 VLM 的新型算法系统，并设计了任务分解和闭环子任务执行机制。在低级运动控制方面，他们利用概率退火选择（PAS）方法，通过强化学习训练控制策略。

大量实验表明，这一系统可以在复杂的 3D 地形中准确、鲁棒地导航，其强大的泛化能力确保了它在室内外各种场景和地形中的应用。

论文链接：

https://arxiv.org/abs/2407.16412

项目地址：

https://cross-anything.github.io/

在这里插入图片描述
05

INF-LaVA：高分辨率

多模态大语言模型的双视角感知

随着数据可用性和计算资源的进步，多模态大语言模型（MLLM）已在各个领域大显身手。然而，MLLM 中视觉编码器的二次方复杂性限制了输入图像的分辨率。目前大多数方法都是通过将高分辨率图像裁剪成较小的子图像，然后由视觉编码器独立处理。尽管能捕捉到足够的局部细节，但这些子图像缺乏全局背景，无法相互影响。

为实现有效的高分辨率图像感知，来自厦门大学的研究团队提出了一种新型 MLLM——INF-LaVA。INF-LaVA 包含两个创新组件—— 双视角裁剪模块（DCM），确保每个子图像都包含局部视角的连续细节和全局视角的综合信息；双视角增强模块（DEM），以实现全局和局部特征的相互增强，从而使 INF-LaVA 能够通过同时捕捉详细的局部信息和全面的全局背景来有效处理高分辨率图像。

广泛的消融研究验证了这些组件的有效性，对各种基准的实验表明，INF-LaVA 的性能优于现有的 MLLM。

论文链接：

https://arxiv.org/abs/2407.16198

GitHub 地址：

https://github.com/WeihuangLin/INF-LLaVA

T2V-CompBench：

首个合成文生视频模型定制基准

文生视频（T2V）模型已经取得了长足的进步，但它们将不同对象、属性、动作和运动合成到视频中的能力仍有待开发。以往的文生视频基准也忽略了这一重要的评估能力。文生视频（T2V）模型已经取得了长足的进步，但它们将不同对象、属性、动作和运动合成到视频中的能力仍有待开发。以往的文生视频基准也忽略了这一重要的评估能力。

在这项工作中，来自香港大学、香港中文大学和华为的研究团队，首次对合成文本到视频生成进行了系统研究，提出了首个为合成文本到视频生成量身定制的基准 T2V-CompBench。T2V-CompBench 涵盖了合成的各个方面，包括一致的属性绑定、动态属性绑定、空间关系、动作绑定、对象交互和生成计算。他们进一步精心设计了基于 MLLM 的指标、基于检测的指标和基于跟踪的指标等评价指标，这些指标能更好地反映七个拟议类别的合成文本到视频的生成质量，其包含 700 个文本提示。他们通过与人工评估的相关性验证了所建议指标的有效性。

他们还对各种文本到视频生成模型进行了基准测试，并对不同模型和不同合成类别进行了深入分析。他们发现，合成文本到视频的生成对于当前的模型来说极具挑战性。

论文链接：

https://arxiv.org/abs/2407.14505

项目地址：

https://t2v-compbench.github.io/

07

RedAgent：

可生成上下文感知越狱提示的

多智能体 LLM 系统

最近，GPT-4 等大语言模型（LLM）已被集成到 Code Copilot 等许多实际应用中。这些应用大大扩展了 LLM 的攻击面，使其面临各种威胁。其中，通过越狱提示诱发毒性反应的越狱攻击引发了严重的安全问题。为了识别这些威胁，越来越多的红队方法通过制作越狱提示来模拟潜在的对抗场景。然而，现有的红队方法并没有考虑到 LLM 在不同场景下的独特漏洞，因此很难调整越狱提示来发现特定场景下的漏洞。同时，这些方法仅限于使用一些突变操作来完善越狱模板，缺乏适应不同场景的自动化和可扩展性。

为了实现上下文感知的高效红队，来自浙江大学的研究团队及其合作者将现有攻击抽象和建模为一个连贯的概念，即“越狱策略”，并提出了一个多智能体 LLM 系统——RedAgent，利用这些策略生成上下文感知的越狱提示。通过对附加内存缓冲区中的上下文反馈进行自我反思，RedAgent 不断学习如何利用这些策略在特定上下文中实现有效越狱。

广泛的实验证明，该系统只需五次查询就能越狱大多数黑盒 LLM，将现有红队越狱方法的效率提高了两倍。此外，RedAgent 还能更高效地越狱定制的 LLM 应用程序。通过生成针对 GPT 上应用程序的上下文感知越狱提示，他们发现了这些现实世界应用程序的 60 个严重漏洞，每个漏洞仅需两次查询。

论文链接：

https://arxiv.org/abs/2407.16667

在这里插入图片描述

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享]👈

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍