大模型日报｜5 篇必读的大模型论文

大家好，今日必读的大模型论文来啦！

CoD：利用诊断链实现可解释的医疗智能体

随着大语言模型（LLMs）的出现，医学诊断领域发生了重大变革，但这些模型的可解释性问题在很大程度上仍未得到解决。

提高基于 LLM 的医疗诊断的可解释性，来自深圳市大数据研究院和香港中文大学的研究团队提出了诊断链（Chain-of-Diagnosis，CoD）。

CoD 将诊断过程转化为一个反映医生思维过程的诊断链，提供了一个透明的推理路径。此外，CoD 还能输出疾病可信度分布，确保决策的透明度。这种可解释性使模型诊断具有可控性，并有助于通过降低置信度的熵来识别关键症状，以便进行调查。利用 CoD，他们开发了 DiagnosisGPT，其能够诊断 9604 种疾病。

实验结果表明，DiagnosisGPT 在诊断基准上优于其他 LLM。此外，DiagnosisGPT 还提供了可解释性，同时确保了诊断严谨性的可控性。

论文链接：
https://arxiv.org/abs/2407.13301
GitHub 地址：
https://github.com/FreedomIntelligence/Chain-of-Diagnosis

Cross Anything：通用四足机器人在复杂地形中导航

视觉语言模型（VLM）在各种机器人任务中的应用取得了显著的成就，但用于四足机器人导航的基础模型却鲜有探索。

来自上海期智研究院、浙江大学和上海交通大学的研究团队提出了由高级推理模块和低级控制策略组成的创新系统—Cross Anything System（CAS），它使机器人能够在复杂的 3D 地形中导航并到达目标位置。在高级推理和运动规划方面，他们提出了一种利用 VLM 的新型算法系统，并设计了任务分解和闭环子任务执行机制。在低级运动控制方面，他们利用概率退火选择（PAS）方法，通过强化学习训练控制策略。

大量实验表明，这一系统可以在复杂的 3D 地形中准确、鲁棒地导航，其强大的泛化能力确保了它在室内外各种场景和地形中的应用。

论文链接：
https://arxiv.org/abs/2407.16412
项目地址：
https://cross-anything.github.io/

INF-LaVA：高分辨率多模态大语言模型的双视角感知

随着数据可用性和计算资源的进步，多模态大语言模型（MLLM）已在各个领域大显身手。 然而，MLLM 中视觉编码器的二次方复杂性限制了输入图像的分辨率。 目前大多数方法都是通过将高分辨率图像裁剪成较小的子图像，然后由视觉编码器独立处理。尽管能捕捉到足够的局部细节，但这些子图像缺乏全局背景，无法相互影响。

为实现有效的高分辨率图像感知，来自厦门大学的研究团队提出了一种新型 MLLM——INF-LaVA。INF-LaVA 包含两个创新组件—— 双视角裁剪模块（DCM），确保每个子图像都包含局部视角的连续细节和全局视角的综合信息；双视角增强模块（DEM），以实现全局和局部特征的相互增强，从而使 INF-LaVA 能够通过同时捕捉详细的局部信息和全面的全局背景来有效处理高分辨率图像。

广泛的消融研究验证了这些组件的有效性，对各种基准的实验表明，INF-LaVA 的性能优于现有的 MLLM。

论文链接：
https://arxiv.org/abs/2407.16198
GitHub 地址：
https://github.com/WeihuangLin/INF-LLaVA

T2V-CompBench：首个合成文生视频模型定制基准

文生视频（T2V）模型已经取得了长足的进步，但它们将不同对象、属性、动作和运动合成到视频中的能力仍有待开发。以往的文生视频基准也忽略了这一重要的评估能力。

在这项工作中，来自香港大学、香港中文大学和华为的研究团队，首次对合成文本到视频生成进行了系统研究，提出了首个为合成文本到视频生成量身定制的基准 T2V-CompBench。T2V-CompBench 涵盖了合成的各个方面，包括一致的属性绑定、动态属性绑定、空间关系、动作绑定、对象交互和生成计算。 他们进一步精心设计了基于 MLLM 的指标、基于检测的指标和基于跟踪的指标等评价指标，这些指标能更好地反映七个拟议类别的合成文本到视频的生成质量，其包含 700 个文本提示。 他们通过与人工评估的相关性验证了所建议指标的有效性。

他们还对各种文本到视频生成模型进行了基准测试，并对不同模型和不同合成类别进行了深入分析。他们发现，合成文本到视频的生成对于当前的模型来说极具挑战性。

论文链接：
https://arxiv.org/abs/2407.14505
项目地址：
https://t2v-compbench.github.io/

RedAgent：可生成上下文感知越狱提示的多智能体 LLM 系统

最近，GPT-4 等大语言模型（LLM）已被集成到 Code Copilot 等许多实际应用中。这些应用大大扩展了 LLM 的攻击面，使其面临各种威胁。其中，通过越狱提示诱发毒性反应的越狱攻击引发了严重的安全问题。为了识别这些威胁，越来越多的红队方法通过制作越狱提示来模拟潜在的对抗场景。然而，现有的红队方法并没有考虑到 LLM 在不同场景下的独特漏洞，因此很难调整越狱提示来发现特定场景下的漏洞。同时，这些方法仅限于使用一些突变操作来完善越狱模板，缺乏适应不同场景的自动化和可扩展性。

为了实现上下文感知的高效红队，来自浙江大学的研究团队及其合作者将现有攻击抽象和建模为一个连贯的概念，即“越狱策略”，并提出了一个多智能体 LLM 系统——RedAgent，利用这些策略生成上下文感知的越狱提示。通过对附加内存缓冲区中的上下文反馈进行自我反思，RedAgent 不断学习如何利用这些策略在特定上下文中实现有效越狱。

广泛的实验证明，该系统只需五次查询就能越狱大多数黑盒 LLM，将现有红队越狱方法的效率提高了两倍。此外，RedAgent 还能更高效地越狱定制的 LLM 应用程序。通过生成针对 GPT 上应用程序的上下文感知越狱提示，他们发现了这些现实世界应用程序的 60 个严重漏洞，每个漏洞仅需两次查询。

论文链接：
https://arxiv.org/abs/2407.16667