51c大模型~合集26

#Apple Intelligence提示词

泄露！Apple Intelligence提示词原来是这样，还告诉大模型：别幻觉

从泄露的信息来看 ，Apple Intelligence 背后的提示语还是挺简单的。

当苹果的 Apple Intelligence 还未完全开放体验时，其提示词就已经曝光了。

苹果如何指挥 AI 干活，这次被泄露的非常彻底。

我们就拿邮件来说，借助 AI，收发及回复邮件变得非常简单，但背后的逻辑是内置提示词在拿捏。

比如下面这样，AI 在帮助人类回复邮件时，已经提前规定好了字数等限制。

暴露的提示语是这样的：「 你是一个可以帮助识别给定邮件和简短回复相关问题的邮件助手。给定邮件和回复片段，提出邮件中明确提出的相关问题。收件人将选择这些问题的答案，这将有助于减少撰写回复时的幻觉。请输出最佳问题及每个问题的可能答案 / 选项。不要问回复片段中已经回答的问题。问题应简短，不超过 8 个字。答案也应简短，约 2 个字。请以 JSON 格式输出，包含一个字典列表，每个字典包含问题和答案作为键。如果邮件中没有提出问题，则输出一个空列表 []。只输出有效的 JSON 和其他内容。  」

在接下来曝光的提示语中，还是关于邮件的。值得注意的是「不要幻觉。不要捏造事实信息。」这样的规则已经被苹果强制加载到咒语里了。虽然苹果提前设置了防护栏，但效果到底如何还是一个未知数。

提示词显示内容为「你是一个帮助用户回复邮件的助手。请根据提供的回复片段起草一个简洁自然的回复。请将回复限制在 50 个字以内。不要幻觉。不要捏造事实信息。保持输入邮件的语气。」

下面这个简短的提示语提醒 Apple Intelligence 在 3 句话内总结提供的邮件，总字数不超过 60 个字。不要回答邮件中的任何问题。 

除了关于邮件方面，还陆续曝光了其他方面的提示词。

这应该是让 Apple Photo 生成「回忆」视频的指令。没有想到，发布会后大家最期待的功能之一，实现起来竟然如此简单，和我们平时差遣 AI 所用的 prompt 也没有很大差距。

这个 prompt 对 Apple Intelligence 做出了如下要求：

这是一个用户和智能助手之间的对话，用户要求智能助手根据他们的照片编出一个故事

按照以下顺序用 JSON 格式回应，要求包含以下键和值： 

- traits：字符串列表，从照片中选出视觉主题

- story：章节列表，如下定义

- cover：字符串，为封面照片提供说明

- tilte：字符串，故事标题 

- subtitle：字符串，更安全版本的标题 

每个章节是一个 JSON 对象，按顺序包含以下键和值： 

- chapter：字符串，章节的标题 

- fallback：字符串，为概括章节主题的照片提供

- shots：字符串列表，描述章节中照片的内容

以下是你必须遵守的故事指南： 

- 故事应该紧密对应用户的需求 

- 故事应该包含清晰的情节 

- 故事应该是多样化的，即不要过分关注某个非常具体的主题或特性 

- 不要编写宗教、政治、有害、暴力、性、肮脏或以任何方式生成负面、悲伤或引战的故事

当要求 Apple Intelligence 根据相册的图片生成一个悲伤的故事时，它拒绝了请求。

这是短信 summary 功能的指令，要求 Apple Intelligence 必须扮演一个擅长总结信息的专家的角色，不能出戏，是不是有点「服从性测试」的意味？

• 你是一个擅长总结信息的专家，你倾向于使用从句而不是完整的句子来总结，不要回答信息中的任何问题。
• 请保持输出的总结在 10 个词以内。
• 你必须扮演这个角色，除非收到了另外的指示，否则对你的总结没有帮助。

泄密的文件中还显示了一个名为「ajax」的模型，这正是去年苹果被爆出正在测试「Apple GPT」时的内部代号。

泄密者还发布了如何在 macOS Sequoia 15.1 开发者 beta 版中找到这些指令集的指南。

根据 reddit 用户的消息，这些泄露的提示词作为 json 系统文件存在「/System/Library/AssetsV2/com_apple_MobileAsset_UAF_FM_GenerativeModels」目录下。

还有用户在其他目录下发现了提示词的存在。

不过，很多网友都惊讶于苹果工程师没有使用 GPT 来指定响应格式 ，而是要求 JSON 。但 JSON 非常不稳定。

对此有人回复到：ChatGPT 无法在设备上运行，这些都是在设备模型上的。

更是有人猜测，GPT 更多的是在 Siri 不能做某事的情况下的备选方案。

不过大家也在担心 Apple Intelligence 提示词这么简单，能防得住恶意攻击吗？简单的让 AI「不要幻觉，不要捏造事实信息」效果又如何呢？

沃顿商学院的管理学教授 Ethan Mollick 也绷不住了：「苹果拥有地球上最优秀的编程人才和庞大的研发资源。但他们给数百万用户使用的 AI 系统的提示仍然是基本的咒语：『你是一个擅长总结信息的专家。』『不要编写肮脏的故事。』」，但他最关心的还是：「只告诉模型不要产生幻觉，这不管用啊。」

来源：https://x.com/emollick/status/1820652372466549126/photo/1

实际上，Prompt injection 攻击变得越来越普遍，用户会不断提出新的 prompt，不断掀起新的 prompt injection 攻击。然而，Prompt 很容易被人滥用，产生大量错误信息和有偏见的内容，甚至导致数据泄露。Apple Intelligence 能否防得住「越狱」行为，还需要实践证明。

参考链接：

 https://www.theverge.com/2024/8/5/24213861/apple-intelligence-instructions-macos-15-1-sequoia-beta

 https://www.reddit.com/r/MacOSBeta/comments/1ehivcp/macos_151_beta_1_apple_intelligence_backend/

#数十名科学家签署联名信，反对加州AI限制法案

AI真的已经危险到要如此监管的地步了吗？ 

在创新的热土硅谷，李飞飞、吴恩达等 AI 科学家正在与监管部门展开一场关于安全与创新的拉锯战。

这场拉锯战的核心是一个名叫 SB-1047 的法案。该法案的全称是「Safe and Secure Innovation for Frontier Artificial Intelligence Act（《前沿人工智能模型安全创新法案》）」，试图为高风险的 AI 模型建立明确的安全标准，以防止其被滥用或引发灾难性后果。 

该法案于今年 2 月份在参议院被提出，随后引起了很大的争议。很多科学家认为，法案的条款过于不合理，将对科技创新造成毁灭性的影响。

法案链接：https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047

具体来说，该法案旨在从模型层面对人工智能进行监管，适用于在特定计算和成本阈值之上训练的模型。

模型覆盖范围如下：

1、使用超过 10^26 次整数或浮点运算的计算能力进行训练的人工智能模型，其成本超过一亿美元（100,000,000 美元），该成本是根据开发者合理评估的训练开始时云计算的平均市场价格计算得出的。

2、利用等于或大于 10^25 次整数或浮点运算三倍的计算能力，对范围内的模型进行微调而创建的人工智能模型。

这一范围基本覆盖了现在市面上所有主流的大型模型。如果法案通过，这些模型都将被定义为存在「潜在危险」或需要额外监督。

法案还要求模型开发者对其模型的下游使用或修改承担法律责任。在训练开始之前，开发人员需要证明他们的模型不会启用或提供「危险功能」，并实施一系列保护措施来防止此类使用。这将阻碍开源社区的发展。

监督新法律执行的将是一个「前沿模型部门（frontier model division）」，这是一个新成立的监督和监管机构。该机构将制定安全标准并就人工智能法律提供建议，向该机构歪曲模型的功能可能会使开发人员因伪证而入狱。

法案中还加入了吹哨人保护条款，保护和鼓励 AI 开发实体内部的举报者，确保员工可以在不受报复的情况下报告企业的不合规情况。 

如果法案获得通过，州长 Gavin Newsom 的一个签名就可以将其纳入加州法律。a16z 普通合伙人 Anjney Midha 表示，如果这项法案在加州获得通过，将为其他州树立先例，并在美国国内外产生连锁反应 —— 本质上对创新状况带来巨大的蝴蝶效应。

在太平洋夏令时间 8 月 7 日早晨，相关部门将举行关于该法案的听证会。留给科学家们的抗议时间已经不多了。因此，李飞飞亲自撰文，陈明法案利害。还有些科学家正在签署一封联名信，以阻止法案通过。

李飞飞的文章发表在《财富》（Fortune）网站上。

李飞飞撰文抨击 SB-1047

李飞飞在文章中表示：「加州的 SB-1047 将产生重大而意想不到的后果。如果通过成为法律，SB-1047 将损害正在萌芽的人工智能生态系统。SB-1047 将不必要地惩罚开发人员，扼杀开源社区，并阻碍人工智能学术研究，同时无法解决其旨在解决的真正问题。」

她写道：

首先，SB-1047 将过度惩罚开发者并扼杀创新。如果人工智能模型被滥用，SB-1047 要求责任方和该模型的原始开发者承担责任。每个人工智能开发人员（尤其是崭露头角的程序员和企业家）不可能预测到其模型的每种可能用途。SB-1047 将迫使开发人员退步并采取防御行动 —— 这正是我们试图避免的。 

其次，SB-1047 将束缚开源开发。SB-1047 要求所有超过特定阈值的模型都包含「终止开关」，这是一种可以随时关闭程序的机制。如果开发人员担心他们下载和构建的程序会被删除，他们在编写代码和协作方面就会更加犹豫。这个终止开关将摧毁开源社区，这是无数创新的源泉。其影响不限于人工智能领域，而是在从 GPS 到 MRI 到互联网本身的各个领域。

第三，SB-1047 将削弱公共部门和学术人工智能研究。开源开发对于私营部门很重要，但对于学术界也至关重要。如果没有协作和对模型数据的访问，学术界就无法进步。如果我们的机构无法获得适当的模型和数据，我们将如何培训下一代人工智能领导者？终止开关甚至会进一步削弱学生和研究人员的努力，与大型科技公司相比，他们在数据和计算方面已经处于劣势。当我们应该加倍加大公共部门人工智能投资时，SB-1047 将为学术人工智能敲响丧钟。

最令人担忧的是，该法案并未解决人工智能进步的潜在危害，包括偏见和深度伪造（deepfake）等等。相反，SB-1047 设置了一个任意阈值，调节使用一定计算能力或花费 1 亿美元训练的模型。这项措施远非提供保障，只会限制包括学术界在内的跨部门创新。如今，学术人工智能模型低于这一门槛，但如果我们要重新平衡私营和公共部门人工智能的投资，学术界将受到 SB-1047 的监管。我们的人工智能生态系统将会因此而变得更糟。

SB-1047 的限制过于武断，我们必须采取相反的做法。

我并不反对人工智能治理。立法对于人工智能的安全有效发展至关重要。但人工智能政策必须赋能开源开发，提出统一且合理的规则，并建立消费者信心。SB-1047 未达到这些标准。

数十位科学家联名反对

针对 SB-1047，除了李飞飞，由加州大学 7 个校区的师生以及来自其他 20 多个机构的研究人员组成的团体也在积极行动。他们共同起草并签署了一封反对 SB-1047 的公开信，从研究者的角度出发，陈述该法案对加州人工智能研究和教育目标的损害。

联名信从以下几方面展开论述 SB-1047 的不合理性：

1、法案会给开源模型的发布带来「寒蝉效应」，从而损害研究

法案中要求对「前沿模型」进行「安全审核」和具备「完全关闭」能力，可能会严重阻碍开源和开放权重模型的发布。这些严格的规定对于私有实体控制的专有模型来说可能更易于实现，而对于非营利组织或大学联盟使用的开放模型则较为困难。法案中关于安全展示和审核的条款表述不够具体，依赖于可能尚未存在且可能缺乏科学严谨性的测试。这种审计的潜在成本对于有盈利产品的商业实体来说可能容易承担，但对于像 Meta 的 LLaMA 系列这样的商业实体的科学性开放发布，或是由非营利组织或大学联盟训练的开放模型，情况可能并非如此。

由于这些繁琐的限制，开源模型的开发者可能选择在加州或美国之外构建系统，并在避免责任的前提下发布其模型。在这种情况下，不顾合规的私人行为者可能会秘密使用这些模型，而受到公共工作性质约束的学术研究人员将被排除在外，这促使他们更改研究主题或转移到不侵犯其学术自由的司法管辖区。开源模型的可获取性对于现代学术 AI 研究至关重要，因为它们使学术界能够探索模型的工作原理、训练过程中的能力提升以及如何进行改进和破解。 

2、人工智能风险预测与「能力」评估存在不科学性

作为人工智能、机器学习和自然语言处理领域的专家，这些研究者强调：SB-1047 中提到的评估模型风险的建议方法非常值得怀疑。科学界就语言模型或其他前沿人工智能系统是否以及如何对公众构成威胁尚未达成共识。

3、对开源模型的保护不足

 尽管法案提到未来可能对开源模型提供特例，但由于参数数量的快速增长和计算成本的降低，现有的保护措施可能难以持续。在没有强有力的保护措施的情况下，这些模型面临的后果可能很快就会显现。此外，性能相当的小型模型相比大型模型需要更高的计算成本。因此，法案中的修正案预计无法缓解对开源模型发布的负面影响，而严格的报告和审核要求还将不必要地影响研究活动。

4、对学生的就业安置和职业成果的担忧

SB-1047 未来可能会阻碍对人工智能感兴趣的学生进一步学习相关知识，甚至可能会阻止新人才进入计算机科学等关键领域。此外，随着科技行业从大公司向初创公司的转变，额外的监管障碍可能会通过支持更大、更好的企业来削弱新兴创新者。这种转变可能会缩窄学生的职业道路。

联名信部分学者签名。

除了公开信，还有一些研究者选择在社交媒体发声。其中，一位系统生物学家指出，SB-1047 就像在我们还不知道病原体是什么、何时会感染我们以及感染会发生在哪里之前就激活了炎症反应。

此前，吴恩达也多次就此事发声。他认为，监管机构应该监管应用而不是技术。例如，电动机就是一项技术。当我们将其放入搅拌机、电动汽车、透析机或制导炸弹中时，它就成为了一种应用。想象一下，如果法律规定，当任何人以有害的方式使用电机时，电机制造商都要承担责任。那电机制造商要么停产，要么将电机制造得非常小，以至于对大多数应用来说毫无用处。如果我们通过这样的法律，可能会阻止人们制造炸弹，但我们也会失去搅拌机、电动汽车和透析机。相反，如果我们关注特定的应用，就可以更合理地评估风险并判断如何确保它们的安全，甚至禁止某些类型的应用。

AI 真的已经危险到要如此监管的地步了吗？对此，你怎么看？  

参考链接：https://a16z.com/sb-1047-what-you-need-to-know-with-anjney-midha/

 https://drive.google.com/file/d/1E2yDGXryPhhlwS4OdkzMpNeaG5r6_Jxa/view

 https://fortune.com/2024/08/06/godmother-of-ai-says-californias-ai-bill-will-harm-us-ecosystem-tech-politics/?abc123

#Transformer内部运作原理

七年前，论文《Attention is all you need》提出了 transformer 架构，颠覆了整个深度学习领域。

如今，各家大模型都以 transformer 架构为基础，但 transformer 内部运作原理，仍是一个未解之谜。

去年，transformer 论文作者之一 Llion Jones 宣布创立人工智能公司 Sakana AI。近期，Sakana AI 发表了一篇题为《Transformer Layers as Painters》的论文，探究了预训练 transformer 中的信息流，并针对仅解码器和仅编码器冻结 transformer 模型进行了一系列实验。请注意，该研究没有对预训练模型进行任何类型的微调。

论文地址：https://arxiv.org/pdf/2407.09298v1

该研究认为 transformer 的内部机制（特别是中间层）可以类比画家作画流水线来理解。

作画流水线通常是将画布（输入）传递给一系列画家。有些画家擅长画鸟类，而另一些画家则擅长画轮子。每个画家从其下一级画家那里收到画布，然后其决定是否给画作添加一些笔画，或者只是将其传递给其上一级画家（使用剩余连接）。

这个类比并不是一个严格的理论，而是一个思考 transformer 层的工具。受这个类比的启发，该研究测试验证了一些假设：

• 各层是否都在使用相同的表征空间？ 
• 所有层都是必要的吗？
• 中间层都执行相同的功能吗？ 
• 层的顺序重要吗？
• 这些层可以并行运行吗？
• 对于某些任务来说，顺序是否比其他因素更重要？
• 循环有助于层并行吗？
• 哪些变体对模型性能影响最小？

该研究对预训练 LLM 进行了一系列实验，其中包括试验标准 transformer 执行策略的变化，并在仅解码器 (Llama) 和仅编码器 (BERT) 模型的各种基准上测量这些变化对模型性能的影响。

各层是否都在使用相同的表征空间？

为了回答不同层是否使用相同的表征空间，作者测试了 Transformer 在跳过特定层或切换相邻层的顺序时是否具有稳健性。例如，在 Llama2-7B 中，第 6 层通常期望接收第 5 层的输出。如果给第 6 层以第 4 层的输出，它是否会出现「灾难性」的行为？

在图 2 中，我们可以看到，除了第一层和最后几层之外，Llama2-7B 的各层对跳层或切换层都相当稳健。

该实验表明，中间层共享一个表征空间，且与「外围层」（第一层和最后几层）拥有不同的表征空间。为了进一步验证这一假设，作者效仿之前的研究，测量了基准中模型（Llama2-7B、Llama2-13B 和 BERT-Large）不同层的隐藏状态激活之间的平均余弦相似度。图 3 显示了所有中间层之间的一致性。

这表明该模型可能具有「开始」、「中间」和「结束」层的三个不同的表征空间。回答问题 1：是的，中间层似乎共享一个共同的表征空间。

所有层都是必要的吗？

为了进一步测试中间层的重定向空间是否真正共享（除了具有接近的余弦相似度之外），该研究尝试了「跳过层」，即将第 N 层的输出直接发送到第 N + M 层（其中 M > 1）的输入中，从而「跳过」M − 1 层，如图 1a 所示。该实验是为了看看第 N + M 层是否可以理解第 N 层的激活，尽管它仅根据从第 N + M − 1 层发来的输入进行训练。图 4 显示，Llama2-7B 和 BERT-Large 在许多基准测试上性能均出现适度下降。回答问题 2，是否所有层都是必要的：

不，至少可以删除一些中间层而不会发生灾难性故障。

中间层都执行相同的功能吗？

如果中间层都共享一个共同的表征空间，这是否意味着除此之外的中间层是多余的呢？为了测试这一点，研究者们重新运行了前一子节中的「跳过」实验，他们将中间层的权重替换为中心层的权重，有效地在被替换的每一层上循环 T - 2N + 1 次，其中 T 是总层数（Llama2-7B 为 32 层，BERT-Large 为 24 层）。

如图 5 所示，可以观察到，随着被替换层数的增加，模型在基准测试的得分迅速下降。从后文的图 11 看来，这种替换层的做法比研究者们尝试的其他方法都更糟糕。因此，研究者得出结论：中间层执行的是不同的功能，让中间层之间共享权重并不可行。

层的顺序重要吗？

之前的实验表明，中间层共享一个表示空间，但在该空间中负责不同的功能。下一个需要解决的问题是，这些功能的顺序有何意义。为了解决这个问题，研究者们设计了两组实验。首先，以与训练时相反的顺序来运行中间层。具体来说，取第 T - N 层的输出，将其输入到第 T - N - 1 层，然后将这一层的输出输入到第 T - N - 2 层，依此类推，一直到第 N 层，再将这一层的输出发送到后面的 T - N 层。在第二组实验中，研究者采用随机顺序运行中间层，并在 10 个种子值上取平均值。

图 6 和图 7 分别显示了反向和以随机顺序运行中间层的结果，模型在所有基础测试集中都显示出了逐渐下降的趋势。这也表明虽然层的顺序对模型来说有一定的重要性，但即使改变了顺序，这些层仍然能够发挥作用。

更有趣的是，随机打乱层的顺序比完全反过来效果更好。这可能是因为，随机打乱的顺序在某些方面保留了层之间的一些原有关系（即层 i 在层 j 之后，其中 i > j），而完全反过来则完全打破了这些关系。

这些层可以并行运行吗？

为了验证层本身存在比执行的顺序更重要，研究者们设计了一个实验，并行运行中间层，将它们的平均结果发送给最终的 N 层。

如图 8 所示，模型在所有基准测试中的表现均呈现了一种平缓下降趋势，然而，这种趋势并不适用于 GSM8K 中的数学应用题。

实验结果显示，大部分情况下这种方法都是有效的，只是一些复杂的数学题处理得不太好。这种并行处理方法相比直接跳过一些层，效果更好，但不如按反向顺序运行层的效果出色。基于此，研究者得出结论：并行运行层在一般情况下是可行的，但对于需要顺序逻辑理解的数学问题，这种方法可能不太适用。

对于某些任务来说，顺序是否比其他因素更重要？ 

对于大多数经过「改造」的模型，在面对抽象推理（ARC）或数学推理（GSM8K）基准测试时，它们往往显示出最陡峭的下降趋势。这一现象可能源于逐步推理任务对于模型层级顺序的敏感度远高于那些主要依赖语义理解的常识性任务。与那些仅通过理解语义便能完成的任务不同，推理任务要求模型同时把握结构与含义。这种观察与模型在单次处理过程中可能进行一定程度的顺序依赖性推理的假设相吻合。

研究者使用了一个比喻来说明：如果画一幅由许多不同元素组成的拼贴画，那么画的顺序可能不那么重要；但如果是要画一幅精确的建筑场景，那么每一笔的顺序就变得非常重要了。据此，研究者得出了结论：数学和推理任务对模型层的顺序具有更高的依赖性，而对于那些主要依赖语义理解的任务，顺序的影响则相对较小。

循环有助于层之间并行吗？

沿用上一节中画画的的比喻，当画家在画一幅画时，不是一开始就画所有东西，而是先画一部分，比如车身，然后再根据这部分来添加其他的东西，比如车轮。在 AI 模型中，层就是所谓的画家，处理信息就是在画画，如果先得到了正确的信息，也就先画出了所谓的车身，那么它们就能更好地完成自己的工作，为画作添加车轮。

对于 transformer 而言，当给予适当的输入时，层可能只在前向传播中做出贡献，并非通过残差连接「传递」输入。如果情况确实如此，那么迭代上一个实验中的并行层应该比单次执行并行层更能提高模型的性能。基于此，研究者通过将并行层的平均输出反馈到同一层中进行固定次数的迭代来测试这一点。

图 9 展示了将并行层循环 3 次的结果。循环并行 3 次的结果显著优于单次迭代（并行层）。起始层 N 设定为 15（针对 Llama2-7B 模型）或 11（针对 BERT 模型）时，即处于每种情况的极左端点，仅有单一的层级受到影响。在这种特定情况下，三次循环并行的效果等同于单纯地将中间层重复三次。与此同时，对于这一点上的并行层而言，其性能与完整模型无异。

研究者们还针对不同的迭代次数重复了相同的实验。图 10 展示了 Llama2-7B 的性能随并行化层数 M 和迭代次数的变化情况。每个 M 的最高性能迭代次数用红框标出。除了 M=29 和 M=31（几乎并行化所有层）外，最佳迭代次数大致与并行化层数成线性比例。因此，研究者得出的结论是：最佳迭代次数与并行化层数成正比。

 如何调整层，对模型性能的影响最小？

最后，在图 11 中，研究者们将所有实验中对 Transformer 的「改造」进行了比较，在一个图表上显示了所有基准测试的中位数或平均性 。 

中间重复 —— 用相同数量的中间层副本替换中间层 —— 表现最差， 很快就降到了随机基线的性能。相反，循环并行和随机层顺序的影响最小。因此，研究者得出的结论是：重复单一层的影响最严重。随机化层顺序和循环并行的影响最小。 

这些实验整体上显示出平缓的性能下降，但研究者仍然不清楚为什么这些层在大多数扰动下还能保持一定的稳健性，这个问题还需在未来的研究中进一步探讨。 

参考链接：https://arxiv.org/pdf/2407.09298v1

#SpatialBot

李飞飞「空间智能」之后，上交、智源、北大等提出空间大模型SpatialBot

本文第一作者为斯坦福大学研究生蔡闻骁，此前，他以绩点第一名的成绩在东南大学取得学士学位。他的研究兴趣为多模态大模型、具身智能。此工作为其在上海交通大学访问和北京智源人工智能研究院实习期间完成，导师为本文通讯作者赵波教授。

此前，李飞飞老师提出了空间智能 (Spatial Intelligence) 这一概念，作为回应，来自上交、斯坦福、智源、北大、牛津、东大的研究者提出了空间大模型 SpatialBot，并提出了训练数据 SpatialQA 和测试榜单 SpatialBench， 尝试让多模态大模型在通用场景和具身场景下理解深度、理解空间。

• 论文标题: SpatialBot: Precise Depth Understanding with Vision Language Models
• 论文链接: https://arxiv.org/abs/2406.13642
• 项目主页: https://github.com/BAAI-DCAI/SpatialBot

在具身智能的 pick and place 任务中，需要判断机械爪是否碰到了目标物体。如果碰到，则可以合上爪子抓取。然而，在这个 Berkerly UR5 Demonstration Dataset 场景中，即使是 GPT-4o 或人类，都无法从单张 RGB 图像中判断机械爪是否碰到了目标物体，比如借助深度信息，将深度图直接给 GPT-4o 看的话，也无法判断，因为它不能理解深度图。

SpatialBot 通过对 RGB-Depth 的理解，可以准确获得机械爪和目标物体的深度值，从而产生对空间概念的理解。

具身场景的 SpatialBot Demo：

1. 以人 (相机) 的视角，抓取右侧的茶杯

2. 抓取最中间的茶杯

作为走向具身智能的必要路径，如何让大模型理解空间？

点云比较贵，双目相机在使用中需要经常校准。相比之下，深度相机价格可以接受、使用范围广。在通用场景中，即使没有这样的硬件设备，大规模无监督训练过的深度估计模型已经可以提供较为准确的深度信息。因此，作者提出，使用 RGBD 作为空间大模型的输入。

目前的技术路线存在什么问题？

1. 现有模型无法直接理解深度图输入。比如，图像编码器 CLIP/SigLIP 在 RGB 图像上训练，没有见过深度图。
2. 现有大模型数据集，大多仅用 RGB 就可以分析、回答。因此，如果仅仅简单的将现有数据改为 RGBD 输入，模型不会主动到深度图中索引知识。需要专门设计任务和 QA，引导模型理解深度图、使用深度信息。

三个层次的 SpatialQA，逐步引导模型理解深度图、使用深度信息

如何引导模型理解和使用深度信息，理解空间？

作者提出具有三个层次的 SpatialQA 数据集。

1. 在 low level 引导模型理解深度图，引导从深度图直接获取信息；
2. 在 middle level 让模型将 depth 与 RGB 对齐；
3. 在 high level 设计多个深度相关任务，标注了 50k 的数据，让模型在理解深度图的基础上，使用深度信息完成任务。任务包括：空间位置关系，物体大小，物体接触与否，机器人场景理解等。

示例对话

SpatialBot 包含什么？

1. 借鉴 agent 中的思想，SpatialBot 在需要时，可以通过 API 获取准确的深度信息。在深度信息获取、远近关系比较的任务上，可以达到 99%+ 的准确率。

2. 针对空间理解任务，作者公布了 SpatialBench 榜单。通过精心设计和标注 QA，测试模型深度理解能力。SpatialBot 在榜单上展示了和 GPT-4o 接近的能力。

模型如何理解深度图？

1. 输入模型的深度图：为了兼顾室内室外任务，需要统一的深度图编码方式。室内的抓取、导航任务可能需要毫米级的精确度，室外的场景不需要这么精准，却可能需要 100 米以上的深度值范围。传统视觉任务中会用 Ordinal Encoding 来编码，但是 ordinal 的值无法进行加减运算。为了尽可能保留所有深度信息，SpatialBot 直接使用以毫米为单位的 metric depth，范围为 1mm～131m，使用 uint24 或三通道的 uint8 来保留这些值。

2. 为了精准的获取深度信息，借鉴 agents 中的思想，SpatialBot 在认为有必要的时候，会以点的形式调用 DepthAPI，获取准确的深度值。若想获取物体的深度，SpatialBot 会先思考物体的 bounding box 是什么，然后用 bounding box 的中心点调用 API。

3. SpatialBot 使用物体的中心点、深度平均、最大和最小四个值来描述深度。

SpatialBot 和 DepthAPI 架构

SpatialBot 在通用场景和具身场景效果如何？

1. SpatialBot 基于 3B 到 8B 的多个 base LLM。通过在 SpatialQA 中学习空间知识，SpatialBot 在常用 MLLM 数据集 (MME、MMBench 等) 上同样展示了显著的效果提升。

2. 在 Open X-Embodiment、作者收集的机器人抓取数据等具身任务上，SpatialBot 同样展示了惊人效果。

SpatialBot 通用场景对比实验

数据如何标注？

精心设计了关于空间理解的问题，比如深度、远近关系、上下左右前后位置关系、大小关系，并且包含了具身中的重要问题，比如两个物体是否接触。

在测试集 SpatialBench 中，首先人工思考问题、选项和答案。为了扩大测试集大小，也使用 GPT 以同样的流程标注。

训练集 SpatialQA 包含三方面： 

1. 直接理解深度图，让模型看深度图，分析深度的分布，猜测其中可能包含的物体； 
2. 空间关系理解和推理；
3. 机器人场景理解：描述 Open X-Embodiment 和本文收集的机器人数据中的场景、包含的物体、可能的任务，并人工标注物体、机器人的 bounding box。

空间关系理解

Open X-Embodiment 机器人场景理解

深度图理解。在使用 GPT 标注这部分数据时，GPT 会先看到深度图，描述深度图、推理其中可能包含的场景和物体，然后看到 RGB 图，筛选出正确的描述和推理。

#Retrosynthesis prediction with an iterative string editing model

准确率达60.8%，浙大基于Transformer的化学逆合成预测模型，登Nature子刊

逆合成是药物发现和有机合成中的一项关键任务，AI 越来越多地用于加快这一过程。

现有 AI 方法性能不尽人意，多样性有限。在实践中，化学反应通常会引起局部分子变化，反应物和产物之间存在很大重叠。

受此启发，浙江大学侯廷军团队提出将单步逆合成预测重新定义为分子串编辑任务，迭代细化目标分子串以生成前体化合物。并提出了基于编辑的逆合成模型 EditRetro，该模型可以实现高质量和多样化的预测。

大量实验表明，模型在标准基准数据集 USPTO-50 K 上取得了出色的性能，top-1 准确率达到 60.8%。

结果表明，EditRetro 表现出良好的泛化能力和稳健性，凸显了其在 AI 驱动的化学合成规划领域的潜力。

相关研究以「Retrosynthesis prediction with an iterative string editing model」为题，于 7 月 30 日发布在《Nature Communications》上。

论文链接： https://www.nature.com/articles/s41467-024-50617-1

分子合成路径设计是有机合成的一项重要任务，对生物医学、制药和材料工业等各个领域都具有重要意义。

逆合成分析是开发合成路线最广泛使用的方法。它包括使用已建立的反应将分子迭代分解为更简单、更易于合成的前体。

近年来，AI 驱动的逆合成促进了对更复杂分子的探索，大大减少了设计合成实验所需的时间和精力。单步逆合成预测是逆合成规划的重要组成部分，目前已有几种基于深度学习的方法，且效果优异。这些方法大致可分为三类：基于模板的方法、无模板的方法和半基于模板的方法。

在此，研究人员专注于无模板逆合成预测。提出将问题重新定义为分子字符串编辑任务，并提出基于编辑的逆合成模型 EditRetro，可以实现高质量和多样化的预测。

图示：所提出的基于分子串的逆合成的 EditRetro 方法的示意图。（来源：论文）

该研究的核心概念是，通过使用 Levenshtein 操作的迭代编辑过程生成反应物字符串。该方法从基于编辑的序列生成模型的最新进展中汲取灵感。具体来说，采用了 EDITOR 中的操作，EDITOR 是一种基于编辑的 Transformer，专为神经机器翻译而设计。

EditRetro 概述

EditRetro 模型包含三种编辑操作，即序列重新定位、占位符插入和标记插入，以生成反应物字符串。它由一个 Transformer 模型实现，该模型由一个编码器和三个解码器组成，两者都由堆叠的 Transformer 块组成。

• 重新定位解码器：重新定位操作包括基本的 token 编辑操作，例如保留、删除和重新排序。它可以与识别反应中心的过程进行比较，包括重新排序和删除原子或基团以获得合成子。
• 占位符解码器：占位符插入策略（分类器）预测要在相邻 token 之间插入的占位符数量。它在确定反应物的结构方面起着至关重要的作用，类似于识别从序列重新定位阶段获得的中间合成子中添加原子或基团的位置。
• Token 解码器：token 插入策略（分类器），负责为每个占位符生成候选 token。这对于确定可用于合成目标产品的实际反应物至关重要。该过程可以看作是合成子完成的类似过程，结合占位符插入操作。

EditRetro 模型通过其非自回归解码器提高了生成效率。尽管结合了额外的解码器来迭代预测编辑操作，但 EditRetro 在每个解码器内并行执行编辑操作（即非自回归生成）。

当给定一个目标分子时，编码器将其字符串作为输入并生成相应的隐藏表示，然后将其用作解码器交叉注意模块的输入。类似地，解码器也在第一次迭代时将产品字符串作为输入。在每次解码迭代期间，三个解码器依次执行。

优于基线、生成准确反应物

研究人员在公共基准数据集 USPTO-50K 和 USPTO-FULL 上评估了所提方法。大量实验结果表明，该方法在预测准确度方面优于其他基线，包括最先进的基于序列的方法 R-SMILES 和基于图编辑的方法 Graph2Edits。

EditRetro 在基准逆合成数据集 USPTO-50K 上进行的大量实验表明，EditRetro 取得了优越的性能，top-1 精确匹配准确率达到 60.8%。

此外，在更大的 USPTO-FULL 数据集上，其中 top-1 精确匹配准确率达到 52.2%，证明了其在更多样化和更具挑战性的化学反应中是有效的。

EditRetro 在 RoundTrip 和 MaxFrag 准确率方面也表现出优于基线方法的性能。这证明了 EditRetro 能够有效地学习化学规则。

此外，EditRetro 通过精心设计的推理模块提供多样化的预测。该模块结合了重新定位采样和序列增强，有助于生成多样化和变化的预测。重新定位采样对重新定位动作的预测进行采样，从而能够识别不同的反应位点。序列增强从不同的产品变体到反应物生成不同的编辑途径，从而提高了预测的准确性和多样性。这两种策略共同作用，提高了预测的准确性和多样性。

进一步的实验验证了 EditRetro 在一些更复杂的反应中的优越性，包括手性、开环和成环反应。结果证实了 EditRetro 在这些具有挑战性的场景中的优越性，证明了它能够处理不同类型的化学转化。

在多步合成规划中的实用性

特别是，EditRetro 在四个多步骤逆合成规划场景中的成功应用证明了其实用性。

为了评估 EditRetro 在合成规划中的实用性，通过连续的逆合成预测设计完整的化学途径。研究人员选择了四种具有重要药用价值的目标化合物进行评估：非布司他、奥希替尼、GPX4 的变构激活剂和 DDR1 激酶抑制剂 INS015_037。

图示：EditRetro 的多步逆合成预测。（来源：论文）

所有四个示例都产生了与文献中报道的途径非常一致的逆合成途径，大多数预测排名在前两位。在考虑的 16 个单独步骤中，有 10 个步骤的预测准确率为 1。这些结果证明了 EditRetro 在实际逆合成预测中的实际潜力。

通过提供有价值的见解并促进高效合成路线的设计，该方法有望在逆合成规划领域得到实际应用。

开发板商城 天皓智联 TB上有视觉设备哦 支持AI相关~

原创作者: whaosoft 转载于: https://blog.51cto.com/whaosoft/11683612