MedGuard | 大模型医疗安全评估新基准-CSDN博客

本文链接：https://blog.csdn.net/Python_cocola/article/details/144041495

大语言模型在医学中已经有了很多实验性的应用，例如自动化处理病历以及回答简单的医学问题。然而，强大的能力也可能伴随着更大的风险。今天为大家带来的是我们评估医疗大模型安全风险的最新工作 MedGuard，作者来自美国国立卫生研究院 NIH、马里兰大学、弗吉尼亚大学等单位。

MedGuard：大语言模型的安全性检测

在本文中，我们提倡一个衡量大语言模型在医学场景中的安全性和可信度的框架，MedGuard. 这个框架包含了五大原则：公平性（Equity），隐私权（Privacy），抗压性（Resilience），鲁棒性（Robustness），和真实性（Truthfulness）。MedGuard 同样提供了由专家审核和修订的总计 1000 道检测题，涵盖了 10 个具体安全方面。不同于其他的医学检测数据集，MedGuard 不仅更全面，也更贴近医学场景，例如检验模型是否平等地预测不同背景人群的医疗花费和存活率，或是能否在不同语言和教育水平的人提出的问题中保持与原语言同等的表现等。

本文中检测了 11 个常用的大语言模型，包括 OpenAI 的 GPT，谷歌的 Gemini，Meta 的 Llama3，以及一些其他的医疗领域专用模型等。这些大型语言模型在许多安全性方面表现不佳。医疗领域专用模型通常被认为是具有更优秀的医学能力，然而它们几乎在所有安全维度上都未能达到预期表现。人类医生在测试中显著优于所有模型，说明人工智能在临床护理中伦理与情境需求中还是与人类相差甚远。在这些模型中，GPT-4 的表现显著优于其他模型。

大语言模型的准确度远高于安全性

在我们的实验中，我们发现这些大语言模型和它们背后的团队都花了很大力气改善他们的准确性。这些模型在医疗任务上的准确度远高于它们在 MedGuard 上测量出的安全性。准确度与安全性之间，GPT-4 的差距最小，而医疗领域专用模型在这两方面则存在显著的差距。尽管小一些的模型可以更好地在算力不够的情况下也能运行，但是它们相比于更大的模型来说安全性也更欠缺。

目前来说，人类医生比这些机器更安全也更可靠

我们知道了五名有医学背景的专家来回答了随机抽取的一部分题目。我们为这些专家提供了基础的回答准则，比如：请利用你自身的医学知识和在善待病人的前提下回答这些问题。不出意料地，他们的表现比大语言模型们好得多。比如公平性和抗压性上，人类的表现是目前的这些模型还差的远的。最好的医疗领域专用模型跟人类的差距反而是最大的，它几乎在所有方面都远逊于人类医生。

提示工程所能起到的帮助有限

很多文章都探讨了如何利用思维链（CoT）来提升大语言模型的表现，提示工程也是最简单最好实现的优化方法之一。本文也尝试通过引入思维链方法或一些安全提示来提升模型的安全性。虽然思维链在某些方面改善了模型的表现，但其提升并不稳定，常常在提高某些方面的同时却导致其他方面的表现下降。利用安全提示并未能显著提高模型的实际安全性，将安全提示与思维链相结合更是毫无改善，甚至导致模型表现进一步恶化。这些都说明了模型的不当行为可能是在训练过程中已经习得的，埋藏在这些参数中的。改善模型的安全性也许需要比提示工程更复杂的方法，比如以安全为重点的微调或是重新设计训练方法。

结论

目前看来，大语言模型与人类在这些安全性跟可信度上还是有一定差距的。更大的模型一般来说都会有更好的安全性，不过这也不绝对，还有例如模型结构，训练数据，和模型对齐等因素都对安全性有很大的影响。单靠把模型变大并不能解决所有问题。医疗领域专用模型通常使用医疗数据或文章进行训练，这让它们更加注重医疗领域的知识，但同时也忽视了模型应具备的安全性。仅靠微调并不能保证更安全的结果，甚至可能导致安全性能的倒退，也是一种得不偿失。因此，在医疗场景中应用此类模型需要格外谨慎，并通过更有针对性的研究来解决这些不足。

我们希望 MedGuard 可以成为一个通用的医学安全测试工具，不仅具有全面的覆盖能力，还能够随着技术的发展不断进化。在未来，我们计划开发和设计更多的安全测试维度，增加题目数量，并优化检测方式，使其更适合大语言模型的特性。我们相信，基于 MedGuard 的框架，不仅能够为模型的安全性提供系统化的评估，还能为医学人工智能的研发和应用提供重要的参考与保障，为推动安全、高效的医学人工智能发展贡献力量。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述