Nature Methods：一种新的医疗人工智能模型可以通过查看一系列图像类型来帮助发现全身性疾病

本文链接：https://blog.csdn.net/m0_59164520/article/details/144249875

人工智能在读取医学图像的能力方面取得了令人印象深刻的进步。在英国国家卫生服务机构最近的一项测试中，一种人工智能工具查看了1万多名女性的乳房x光照片，并正确识别出哪些患者被发现患有癌症。

人工智能还发现了11例医生遗漏的病例。但系统性疾病，如狼疮和糖尿病，对这些系统提出了更大的挑战，因为诊断通常涉及多种医学图像，从核磁共振成像到CT扫描。

华盛顿大学保罗艾伦计算机科学与工程学院助理教授Sheng Wang与微软研究院和普罗维登斯遗传学和基因组学的合著者合作创建了生物医学分析模型，这是一种人工智能医学图像分析模型，可用于九种类型的医学图像，以更好地预测全身性疾病。医疗专业人员可以将图像加载到系统中，并用简单的英语向人工智能系统提问。

该研究小组于11月18日在《自然方法》杂志上发表了他们的研究结果。

Sheng Wang说，“我们专注于多模态生成人工智能，这意味着我们致力于处理多种医学图像。以前的研究一次只考虑一种类型的图像，例如癌症研究中的病理图像。我们的新方法是综合考虑各种图像来预测全身性疾病。像糖尿病这样的疾病会出现在全身各处——眼睛、牙齿、肾脏等等。如果你只有一个可以看眼睛图像的模型，它可能会错过关于全身性疾病的事情。”

Wang刚刚与微软和普罗维登斯基因公司的研究人员发表了一篇论文，该论文可以处理九种不同的医学图像，并在文本和图像之间进行翻译。OpenAI等公司和艾伦人工智能研究所（Allen Institute for Artificial Intelligence）等组织最近发布了可以在文本和图像之间移动的人工智能模型。医学图像有何不同？

“例如，当ChatGPT或谷歌的Gemini为猫的图像建模时，该图像非常小-我们说256像素。但医学图像要大得多，可能有10万像素。如果打印两张图像，大小的差别就像网球和网球场的差别。因此，同样的方法不能应用于医学图像。”

“但是ChatGPT非常擅长理解和总结长文档。所以我们在这里用同样的技术来总结非常大的病理图像。我们把它们分解成许多小图像，每张256 × 256。这些小图像组成了一个类似小图像的“句子”，但这里的基本元素不是单词或字符——而是一个小图像。生成式人工智能可以非常准确地总结这组小图像。今年5月，我们发布了GigaPath，这是一个使用这种方法处理病理图像的模型。”Wang说。

“在我们最新的论文中，我们结合了各种工具来构建BiomedParse，它可以跨九种模式工作，使我们能够整合包括CT扫描、核磁共振成像、x射线等在内的模型。”

“我们发现很难建立一个可以考虑所有模式的模型，因为人们可能不愿意分享所有这些数据。相反，我们为每种图像类型构建一个模型。有些是我们的，有些是哈佛大学和微软的其他专家的，然后我们把它们都投射到一个共享的空间里。”

他们的灵感来自世界语，世界语是一种结构化的语言，不同国家的人可以交流，类似于现在英语在欧洲的功能。这一生物分析论文的主要思想是使用人类语言作为不同医学成像模式的世界语。CT扫描与MRI非常不同，但每一张医学图像都有临床报告。所以把所有东西都投射到文本空间。然后两幅图像会很相似，不是因为它们都是CT扫描，而是因为它们谈论的是相似的病人。

这个工具有点像医学图像的搜索引擎。它使非专业人员能够与模型讨论需要领域专业知识的非常专业的医学图像。这可以使医生更好地理解图像，因为，例如，阅读病理图像通常需要很高的专业知识。

即使是非常有经验的医生也可以使用我们的模型更快地分析图像并发现细微的变化。例如，他们不需要逐像素地查看每个图像。这个模型可以首先给出一些结果，然后医生可以专注于那些重要的区域。因此，这可以使它们更有效地工作，因为自动提供非常一致的结果——与专家的人工注释相比，准确率超过90%——只需0.2秒。由于这是一种检测生物医学物体位置并计数细胞数量的工具，因此我们通常可以容忍90%的准确率来正确检测物体并预测下游疾病。但医生的指导仍然是必要的，以确保这些人工智能工具得到正确使用。这是一种增强他们技能的方式，而不是取代他们。

研究人员已经发布了一个demo。接下来，他们希望与UW Medicine合作，进一步开发该模型，然后在患者同意的情况下将其部署到UW Medicine系统中。这是整个华盛顿大学的一项巨大努力。研究人员收集了大量的数据，涵盖了人体的不同部位，不同的模式和不同的疾病。所以希望能推进全身性疾病的检测。

Wang说，“我曾经用人工智能进行药物发现和基因组学研究，但我发现这是一个非常有限的领域，因为开发一种药物可能需要5到10年的时间，最耗时的部分是对药物进行测试——在老鼠身上进行试验，在人类身上进行试验，等等。我转向医学是因为我觉得人工智能在分析图像数据和图像以及文本方面非常强大。

我也在研究药物再利用。这意味着，例如，一种用于治疗视网膜疾病的药物，无需为其他目的而设计，也可以治疗心力衰竭。因此，如果这种药物已经用于视网膜疾病，我们发现它对心力衰竭有效，我们可以立即应用它，因为我们知道它是安全的。这是用人工智能研究全身性疾病的潜在好处之一。如果我们将视网膜图像与心力衰竭图像结合起来发现视网膜图像可以预测心力衰竭，我们可能会发现这样一种药物。这是一个长期目标。”

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述