本次我们分享了一篇发表在Nature子刊 Nature Medicine（IF = 58.7）上的一篇文章《Integrated image-based deep learning and language models for primary diabetes care》。文章向我们展示了研究者如何使用深度学习模型配合大语言模型成功的提高了欠发达地区对糖尿病的诊断和治疗能力，为欠发达地区预防和治疗糖尿病做出了很大的贡献。
文章亮点
本次实验首次使用深度学习模型成功的做到了对早期糖尿病的准确判断。
本次实验还成功地使用大语言模型提高了糖尿病人的接受治疗情况和积极性。
再结合了深度学习模型与大语言模型后，研究者们成功的开发了一套能够辅助医生对早期糖尿病患者进行诊断和治疗的系统。
系统工作流程
I. 文献背景
-
文章题目：Integrated image-based deep learning and language models for primary diabetes care
-
DOI：10.1038/s41591-024-03139-8
-
中文标题：关于基于集成图像的深度学习模型和大语言模型对糖尿病的诊断和治疗的帮助的研究
-
发表杂志：The Nature Medicine
-
影响因子：58.7
-
发表时间：2023年11月
II. 实验介绍
实验背景
随着社会的进步，糖尿病这种“富贵病”变得越来越常见。由于低收入和中等收入国家和地区的医疗资源不足和缺乏训练有素的护理医生，这些地区面临比发达地区更严重的公共卫生挑战。糖尿病视网膜病变是糖尿病的常见并发症，也是这些地区里工作年龄段成人失明的主要原因。
为了更好地帮助欠发达地区的居民尽早发现和治疗糖尿病，我们的研究团队开发了一套由深度学习模型和大语言模型组成的糖尿病快速检测和辅助治疗系统。其中，深度学习模型辅助医生进行更快、更高效的糖尿病筛查。在确诊糖尿病后，利用大语言模型帮助患者更加清晰、有效地治疗糖尿病。让我们一起来看看这个系统是如何被开发出来的吧！
诊疗辅助系统介绍
研究员们开发的诊疗系统名为DeepDR-LLM系统（以下称为诊疗系统），该系统由两个主要模块组成：LLM模块（以下称为大语言模型模块）和DeepDR-Transformer模块（以下称为深度学习模型模块）。系统通过这两个模块的协同工作，实现对糖尿病视网膜病变（DR）筛查和糖尿病患者的个性化管理建议。
模块I：大语言模型模块 大语言模型模块旨在根据糖尿病患者的临床元数据（包括病史、体检、实验室检查和糖尿病并发症的诊断结果）提供个性化的糖尿病管理建议。该模块基于微调的大型语言模型（LLM），使用了来自上海第六人民医院和华东疗养院等医院的共371,763对临床数据和管理建议进行训练。通过人工微调的方式，将糖尿病管理相关的知识融入大语言模型的训练过程中，该语言模型使用LLaMA-7B作为基础模型。
模块II：深度学习模型模块 深度学习模型模块负责从标准或便携式眼底图像中评估眼底图像的质量，并分别检测出微动脉瘤、棉絮斑、硬性渗出物和出血等病变。在检测到病变后，模型会根据国际临床糖尿病视网膜病变严重程度量表（AAO，2002年10月）对病变的严重程度进行分类，从而更准确地做出判断。研究人员使用了包括上海糖尿病预防计划和中国国家糖尿病并发症研究在内的14个标准眼底图像数据集，以及包括中国便携式筛查糖尿病视网膜病变-东部、中部、西部和阿尔及利亚糖尿病视网膜病变研究在内的7个便携式眼底图像数据集，对深度学习模型进行了训练。
诊疗系统示意图
实验过程与结果
为了尽量提高医疗辅助系统的能力，研究员们设计了四组实验以帮助两个模型更全面的学习如何帮助医生有效并迅速地诊断和治疗糖尿病：
实验2a：LLM模块性能评估 研究员们设计了一组对比实验。对研究员调试过的大语言模型；未经微调的LLaMA；初级保健医生和内分泌学住院医生在糖尿病治疗建议方面的表现进行了对比。再研究了包括100个随机选择的病例后，分别用英语和中文生成管理建议，并由专家评估。
2a示意图
-
结果：英语评估：大预言模型生成的的建议中，71%没有不适当内容，高于未调试的LLaMA模型（51%），与初级保健医生（71%）相当；36%的建议没有缺失内容，高于初级保健医生（27%）；57%的建议被评为达标，与初级保健医生的55%相当。中文评估：大语言模型给出的建议中，77%没有不适当内容，高于LLaMA（66%）和初级保健医生（54%）；63%的建议没有缺失内容，高于初级保健医生（46%）；88%的建议被评为达标，高于初级保健医生的60% 。
-
解读：大语言模型系统在生成糖尿病管理建议方面表现优异，特别是在内容完整性和安全性方面。相较于未经微调的LLaMA，大语言模型在两种语言环境下的表现均显著提升，并与初级保健医生和内分泌学住院医生的建议质量相当。这表明大语言模型在支持初级保健医生管理糖尿病患者方面具有很高的应用价值。
实验2b：深度学习模型模块验证 方法：在14个标准眼底图像数据集和7个便携式眼底图像数据集中，测试了研究员们调试过的深度学习模型模块的性能。
2b示意图
-
结果：标准眼底图像：深度学习模型在识别可转诊DR方面表现出色，AUC值在0.892到0.933之间。便携式眼底图像：模型在检测可转诊DR方面的AUC值在0.896到0.920之间 。
-
解读：深度学习模型模块在不同类型的眼底图像上均表现出色，证明其在多种环境下的适应性和准确性。特别是便携式眼底图像的优异表现，表明该模型在资源有限的环境中也能有效工作。这对于在低资源环境中推广DR筛查具有重要意义。
实验2c：深度学习模型作为辅助工具的效果 方法：评估深度学习模型作为辅助工具在初级保健医生和专业分级员（非医生）中的应用效果，包括准确性和分辨速度。
2c示意图
- 结果：标准眼底图像：未辅助的初级保健医生敏感性范围为37.2%-81.6%，使用深度学习模型辅助后提升至78.4%-99.6%；特异性从69.6%-92.8%提升至82.0%-97.6%；评估时间从每只眼7.39秒（IQR 6.69-8.42）减少到6.13秒（IQR 5.82-6.73）（P<0.001）。便携式眼底图像：类似趋势，准确性和时间效率均有显著提升。
新加坡数据组的实验结果
- 解读：深度学习模型作为辅助工具显著提高了初级保健医生和专业分级员的敏感性和特异性，同时减少了评估所需时间。这不仅提高了筛查的准确性，还提升了工作效率，使得在临床实际应用中更加可行。
实验2d：真实世界前瞻性研究 方法：在华东疗养院进行为期12周的前瞻性研究，比较未使用大语言模型系统的初级保健医生组和使用大语言模型系统辅助的初级保健医生组对患者自我管理行为的影响。
2d示意图
-
结果：未使用大语言模型的初级保健医生组：253名参与者，初级保健医生根据检查结果独立给出管理建议。使用大语言模型的初级保健医生组：234名参与者，大语言模型系统辅助生成并发症诊断结果，并结合患者信息自动生成管理建议，初级保健医生据此调整并给出最终建议。结果显示，使用大预言模型系统辅助的初级保健医生组在患者自我管理行为和并发症转诊遵从性方面表现更好。
-
解读：使用大语言模型系统辅助的初级保健医生组患者在自我管理和遵从性方面表现显著提升。这表明，大语言模型系统不仅能够提供高质量的管理建议，还能够积极影响患者的健康行为，提高疾病管理的效果。这对于提高糖尿病患者的整体健康水平具有重要意义。
III. 总结
研究员们研发的辅助治疗系统通过集成图像深度学习模型和大语言模型，为初级糖尿病护理提供了全面的解决方案，特别适用于资源有限但需求量大的环境。该系统能够提供个性化、高质量且富有同理心的糖尿病管理建议，并实现并发症的自动化筛查，显著提升了糖尿病患者的自我管理行为和并发症筛查的效率。未来的研究应关注该系统在更广泛人群中的适用性和长期效果。
IV. 拓展
在拓展部份里，我想粗略的为大家介绍一下文中使用的大语言模型和深度学习模型：
LLaMA
LLaMA (Large Language Model Meta AI) 是由 Meta AI（前身为 Facebook AI）开发的一系列基础语言模型。这些模型旨在基于大量数据理解和生成类人文本。以下是关于 LLaMA 的一些关键点：
关键特点：
-
架构：LLaMA 模型采用了类似于 GPT-3 和 BERT 的 Transformer 架构。Transformer 架构因其处理序列数据和生成连贯、上下文适当的文本的能力而广受欢迎。
-
可扩展性：LLaMA 模型有多种规模，例如 LLaMA-7B、LLaMA-13B 等，数字表示参数的数量（以十亿计）。较大的模型通常提供更准确和细致的文本生成能力，但需要更多的计算资源。
-
训练数据：LLaMA 模型在多样化的数据集上进行训练，包括来自互联网、书籍、研究论文等的广泛文本。这种广泛的训练使得模型能够在各种主题和风格下生成文本。
-
应用领域：LLaMA 模型可用于多种自然语言处理（NLP）任务，包括文本生成、翻译、摘要、问答等。它们特别适用于需要理解和生成类人文本的应用。
-
定制化：LLaMA 模型的一个重要优势是能够针对特定任务或领域进行微调。研究人员和开发者可以通过在更专业的数据集上进一步训练模型，使其更好地满足特定需求。
-
开放研究：Meta AI 开发 LLaMA 是其推进 AI 研究的更广泛承诺的一部分。通过发布这些模型，Meta AI 旨在促进研究界的合作，并鼓励新的创新应用的发展。
使用示例：
-
医疗：提供个性化的医疗建议并辅助诊断程序。
-
客户服务：提升自动化客户支持系统的准确性和上下文感知能力。
-
教育：开发智能辅导系统，为学生提供个性化的学习体验。技术规格：
-
LLaMA-7B：该版本有 70 亿参数，能够处理复杂的文本生成任务，同时在计算资源使用方面比更大的模型更高效。
-
训练方法：训练过程涉及在多样化和全面的文本数据上进行无监督学习，帮助学习广泛的语言模式和事实。
总之，LLaMA 代表了自然语言处理领域的重要进展，提供了强大的文本理解和生成能力。与所有 AI 技术一样，继续研究其伦理影响并制定策略以减轻潜在的偏见和其他风险是非常重要的
Transformers
Transformer 是一种用于自然语言处理 (NLP) 的深度学习模型架构，由 Vaswani 等人于 2017 年提出。它通过引入自注意力机制（Self-Attention Mechanism）显著提高了模型在处理序列数据时的效率和效果。以下是 Transformer 的一些关键特点和工作原理：
关键特点
-
自注意力机制：Transformer 中的自注意力机制允许模型在处理序列数据时同时关注序列中的所有位置。这意味着模型可以直接获取全局上下文信息，而不需要逐步传递信息，显著提高了训练和推理的速度和效果。
-
并行处理：由于不依赖于序列顺序，Transformer 可以并行处理输入数据。这与传统的循环神经网络 (RNN) 形成对比，后者需要逐步处理序列数据，从而加快了训练速度。
-
层级结构：Transformer 由多个编码器和解码器层级组成，每个层级都包含自注意力机制和前馈神经网络。编码器将输入序列转化为一组隐向量表示，解码器则根据这些隐向量和目标序列生成输出。
工作原理
-
输入嵌入：输入序列首先被转化为嵌入向量，并添加位置信息（Position Embeddings），以保留序列顺序的信息。
-
编码器：编码器包含多个相同的层，每层包括一个多头自注意力机制（Multi-Head Self-Attention）和一个前馈神经网络（Feed-Forward Neural Network）。自注意力机制计算输入序列中每个词与其他词的相关性，然后前馈神经网络进一步处理这些信息。
-
解码器：解码器的结构类似于编码器，但它还包括一个额外的自注意力层，用于处理输入序列和已生成的输出序列之间的关系。
-
输出生成：解码器最终生成目标序列的每个元素，逐步构建输出。
应用领域
-
机器翻译：Transformer 被广泛用于机器翻译任务，如 Google Translate。
-
文本生成：GPT 系列（如 GPT-3）基于 Transformer 架构，能够生成高质量的文本。
-
文本摘要：Transformer 模型可用于自动生成文本摘要。
-
情感分析：用于分析文本的情感倾向。主要优势
-
处理长距离依赖：Transformer 能够有效处理序列中的长距离依赖关系，而不受序列长度的限制。
-
高效训练：由于可以并行处理数据，Transformer 的训练效率大大提高。
Transformer示意图
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
2062
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
