医学大模型:便利安全可控
文章平均质量分 93
致力于打造【个性化用药助手】、【全科专科医务培训助手】、【安全可控稳定兼备全流程精准诊疗】、【多模态】、【单病种智能化管理】的医学大模型
Debroon
万象禅心(这辈子只搞AI+WEB3.0),闲下写点(AI技术,医学影像,医学大模型 & 人性关系底层逻辑,狼性佛心团队建设,引流霸榜营销演说)。
展开
-
AI大模型学习
未来会更新,偏项目部分,现在偏原理。笔记收录,持续更新。原创 2024-03-22 11:10:01 · 1033 阅读 · 0 评论 -
【最新汇总】市面上的医学大模型和他们的问题:不是各位卷死在下,就是在下卷死各位
为了给Baichuan3注入丰富的医疗知识,百川智能在模型预训练阶段构建了超过千亿Token的医疗数据集,包括医学研究文献、真实的电子病历资料、医学领域的专业书籍和知识库资源、针对医疗问题的问答资料等。: 当ChatDoctor被问及同样的问题时,它会使用其自主信息检索机制来从最新的医学数据库和在线资源中获取关于Mpox的最新治疗信息,从而提供更准确、基于最新医疗研究的建议。: 一个患者可能询问关于罕见病症的治疗方法,传统的LLM可能因为缺乏准确的最新医学信息而生成一个错误的或者不完全的回答。原创 2024-02-02 15:00:15 · 1239 阅读 · 0 评论 -
RAPTOR:索引树状 RAG,使用树结构来捕捉文本的高级和低级细节
递归摘要作为上下文摘要技术:递归摘要提供了文档的简明视图,使人们能够更专注地参与内容。尽管递归摘要模型对于捕捉更广泛的主题很有效,但可能会忽略细节。LlamaIndex通过类似的方式摘要相邻的文本块,但也保留了中间节点,因此保留了不同级别的细节,保持了细粒度的细节。然而,这两种方法由于依赖邻接来对节点进行分组或摘要,可能仍然会忽略文本内的远程依赖关系,而RAPTOR可以找到并组织这些依赖关系。原创 2024-04-30 10:47:13 · 544 阅读 · 0 评论 -
OpenAI API 使用指南
当用户的查询处理完毕后,这三个问题的文本将被显示给用户,帮助他们获得关于感冒治疗的具体信息,尤其是关于是否可以使用阿莫西林的详细解答。这三种角色共同构成了聊天的完整流程,其中系统角色可用于初始化设置,用户角色表达用户需求,智能助手角色则是响应这些需求,完成交互。这个过程有效地将用户的自然语言查询转化为可以操作的数据(向量),通过数学方法找到最相关的回答,从而提供具体而有用的医疗建议。假设你是一个用户,想要找到关于感冒治疗的最佳建议,尤其是关于阿莫西林的使用。用户查询:“感冒吃什么药效果好?原创 2024-04-23 13:55:18 · 786 阅读 · 0 评论 -
Agent 智能体食用指南
科技圈焦点:三年前都在 ALL in AI,一年前都在 ALL in LLM,现在都在 ALL in Agent。但 GPT4 跑 Agent 成本高,多轮 + 输入多 + 交互多 + API 调用 + 多智能体,一天花费几十美刀。Llama 系列是本地大模型中接入 Agent最稳定的,而且免费, 不会像其他大模型跑不完流程,就崩了。Agent 依赖大模型推理分析能力,基于 GPT4 是最智能 + 最稳定 + 体验最好。上图最后一列是,Agent性能评分(主观)。其实落地很快,主要是成本问题。原创 2024-04-22 21:14:00 · 390 阅读 · 0 评论 -
【中文医疗词嵌入模型】SMedBERT:结构化知识图谱 + 混合注意力机制 + 提及-邻居上下文建模
然后,图中显示了从知识图谱中提取的邻近实体信息,如“呼吸感染”(respiratory infection)、“发热”(fever)、“呼吸综合症”(respiratory syndrome)和“肺炎”(pneumonia),它们都与“新型冠状病毒”(novel coronavirus)相关联。两个知识图谱中的三元组数量分别是1,007,818和3,764,711。在训练语料中的每一个提及(如“糖尿病”),都与知识图谱中的实体集合E相对应,并形成实体和关系的三元组(S),比如(糖尿病,关联,心脏疾病)。原创 2024-04-09 15:42:58 · 1005 阅读 · 0 评论 -
秘塔 AI 搜索:颠覆搜索的常态体验,强大+惊艳
相比之下,微软的new bing就是单纯的“搜索+ai”,很多时候还没有传统搜索引擎好用,但是这样的搜索方式,依然能让new bing访问量上升了15.8%。给出的内容不亚于一篇专业的测评,而且还综合了其他博主的评测,让你知道最全面的消息,不知道你看了这个之后,还有没有所谓的“信息差”的概念,这是完全透明了。传统搜索引擎的结果是平铺的、零散的,需要我们自己去梳理,慢慢形成脉络,找到自己想要的信息或学到自己想学的知识。比如,今天是 4.8 号,ta引用了4.7号的数据,刚发的婚姻司法解释,这真的牛逼了。原创 2024-04-08 15:00:04 · 4009 阅读 · 0 评论 -
MiLP:低秩适应和贝叶斯优化,实现个性化的大模型响应生成
图2展示了MiLP方法的工作流程。描述了LLM的多层结构,包含添加和标准化(Add & Norm)、前馈(Feed Forward)和多头注意力(Multi-Head Attention)部分。每一层中都包含了用于记忆注入的低秩适应(LoRA)模块,这些模块由W_A和W_B矩阵组成。这部分展示了对LLM进行调整的可能配置。例如,决定在LLM的哪些层插入LoRA模块(通过二进制参数α控制),以及LoRA模块的数量和低秩大小(r)。原创 2024-04-05 17:30:41 · 739 阅读 · 0 评论 -
LongVLM:让大模型解读长视频 SOTA 的方法
这种结合局部和全局信息的策略,使得LongVLM能够实现对长视频内容的精细理解和响应生成,克服了现有方法在处理长视频时细节理解不足的问题。将长视频分解为短期片段,对每个片段应用令牌合并模块,生成紧凑的片段级特征,这些特征按顺序连接,显式保留短期片段在长视频中的时间顺序。不同于依赖全局语义进行长视频理解的传统方法,LongVLM提供了一种直接且有效的方法,用于实现长期视频中的精细级别理解。LongVLM的提出有效地解决了长视频理解的挑战,其结合局部和全局信息的策略为视频内容理解领域提供了新的视角和方法。原创 2024-04-05 17:09:06 · 1308 阅读 · 0 评论 -
【医学嵌入模型】中文医疗文本处理大模型 PCL-MedBERT
提出背景与动机预训练语言模型(PLMs)在自然语言处理(NLP)领域取得了显著的成功,特别是BERT及其变体通过在大规模未标注文本上的自监督学习,显著推动了NLP的发展。尽管在通用领域PLMs取得了巨大成功,但直接将这些模型应用于生物医学等专业领域的效果并不总是理想的,因为专业领域具有独特的词汇、术语和语言结构,需要专门的预训练模型来处理。ELECTRA模型的限制ELECTRA模型采用令牌级别的二元分类任务进行预训练,虽有效,但可能不足以捕捉更复杂的语言模式。原创 2024-03-29 11:41:21 · 1077 阅读 · 0 评论 -
【阿里近100人+花27.1万造的】中文医学数据集 ChineseBLUE 分析
需要注意的是,中文生物医学文本在语言上与英文不同,具有其领域特性,这需要专门为中文设计的评估BioNLP基准测试。在本研究中,我们专注于中文,旨在填补这一空白并开发第一个中文生物医学语言理解基准测试。我们收集了真实世界的生物医学数据,并提出了第一个中文生物医学语言理解评估(CBLUE)基准:包括命名实体识别、信息抽取、临床诊断标准化、单句/句对分类等自然语言理解任务的集合,以及一个用于模型评估、比较和分析的在线平台。原创 2024-03-29 09:57:02 · 779 阅读 · 0 评论 -
让机器理解语言,从字词开始,逐步发展到句子和文档理解:独热编码、word2vec、词义搜索、句意表示、暴力加算力
举例:在句子“猫坐在垫子上”中,如果目标词是“坐”,上下文词是“猫”和“在垫子上”,CBOW会使用“猫”和“在垫子上”对应向量的平均值来预测“坐”。举例:在句子“猫坐在垫子上”中,如果目标词是“坐”,Skip-Gram模型会尝试使用“坐”的词向量来预测“猫”和“在垫子上”的词向量。不同于Word2Vec模型生成的词向量,文档向量捕获了文档中所有词的上下文关系以及词之间的交互作用,提供了一个全面的文档表示。GPT-3有1750亿个参数,无疑是非常大的数字,但是在指数增长的算力面前,这些是有限的数字。原创 2024-03-27 10:44:55 · 1132 阅读 · 0 评论 -
【大模型 数据增强】LLM2LLM:迭代学习 + 针对性增强 + 错误分析 + 合成数据生成 + 质量控制
我们在使用LLaMA2-7B学生模型的低数据范畴中,在GSM8K数据集上实现了高达24.2%的改进,在CaseHOLD上为32.6%,在SNIPS上为32.0%,在TREC上为52.6%,在SST-2上为39.8%,超过了常规微调。在医学领域的具体应用中,例如提高模型在分类罕见病症或解析复杂医疗图像方面的能力,LLM2LLM能够生成更加贴近实际临床场景的数据,比如根据模型识别错误的病症症状生成新的案例,我们的结果显示,LLM2LLM在低数据范畴中显著提高了LLM的性能,超过了传统微调和其他数据增强基准。原创 2024-03-26 11:00:18 · 804 阅读 · 0 评论 -
Bi-LSTM-CRF:其结合了 BI-LSTM 的上下文捕获能力和 CRF 的标签关系建模
BI-LSTM-CRF模型的独特优势在于它结合了双向LSTM的能力来捕获长距离的双向上下文依赖性,并通过CRF层来精确地建模标签之间的约束关系,从而在复杂的序列标注任务中提供了显著的性能提升。本节中,我们描述了本文中使用的模型:LSTM、BI-LSTM、CRF、LSTM-CRF和BI-LSTM-CRF。这些模型包括LSTM网络、双向LSTM(BI-LSTM)网络、带有条件随机场(CRF)层的LSTM(LSTM-CRF)以及带有CRF层的双向LSTM(BI-LSTM-CRF)。前置知识:序列模型、LSTM。原创 2024-03-25 14:05:22 · 719 阅读 · 0 评论 -
好用的GPTs:指定主题搜索、爬虫、数据清洗、数据分析自动化
能不能 APP逆向抓取、JS 逆向抓取、APP 群控抓取、验证码拖拽、大规模抓取等!但我不知道,Scraper配合GPT4的多模态和智力,爬虫水平有多好?居然找到了改进的YOLOv5s模型在医学图像中肺结节检测的应用。不过我没做过肺结节检测,没推荐,没想到这都能找到。输入:搜索 YOLO+小目标+医学方面+最新论文。不过我更好奇,这个插件爬虫的能力到了什么程度。只能说,牛逼,不愧是最先进的生产力工具。这篇文章评论中,就有提到肺结节检测。输入:这只是第1页,总共有10页。原创 2024-03-21 15:24:51 · 748 阅读 · 0 评论 -
vLLM:给大模型提提速,支持高并发吞吐量提高24倍,同时推理速度最少提高 8 倍
vLLM系统:在PagedAttention的基础上构建的一个高吞吐量的分布式LLM服务引擎,采用块级内存管理和预先请求调度,实现了KV缓存内存的近零浪费。这导致了大量的内部碎片化(预留的内存未被完全使用)和外部碎片化(由于连续内存的需求,可用内存块被分散,不能被有效利用)。按照改进的方式,你可以立即把客人A的订单向前推进到下一步(加汉堡肉),同时把新来的客人B的订单加入到加生菜的步骤中。通过这种方式,vLLM可以在有限的GPU内存中,以更高的效率处理更多的请求,提高了LLM服务的吞吐量和响应速度。原创 2024-03-18 23:55:45 · 1276 阅读 · 0 评论 -
llama_index 从 0 到 1:别再用传统方法处理数据了!LlamaIndex如何革新你的信息检索?
用户可以根据需要自定义索引构建过程,包括文档分块、向量存储配置等,这为特定应用场景下的优化提供了可能。原创 2024-03-17 23:51:54 · 809 阅读 · 0 评论 -
Apollo:如何打造全球化的医疗AI,轻量级,重量级
Apollo通过针对多语言覆盖、数据隐私保护、地方性知识整合和沟通效率的优化,解决了普通医学大模型在这些方面的问题和不足,提高了模型在全球多语言医疗信息处理方面的性能和适用性。代理调优是一种使用小型模型的输出来引导大型模型进行预测调整的技术,它能够在不直接更改大模型参数的情况下,提高大模型在特定任务上的表现。混合多语言的医学数据对模型的性能有显著提升,但如何平衡和整合这些多样的信息,仍是我们接下来需要关注的问题。:可能缺乏足够的多语言和地区特定的医疗数据,导致在非主要语言或地区的医疗知识处理上存在不足。原创 2024-03-15 17:00:51 · 624 阅读 · 0 评论 -
ClinicalMamba:长距离不垮,超模也望尘莫及;定制化信息提取,个性化精确到点
通过这一系列方法,ClinicalMamba不仅展示了其在长文本处理方面的卓越能力,还证明了其在临床NLP任务中的应用潜力,为未来的医疗保健研究和实践提供了新的工具和见解。ClinicalMamba的创新之处在于其能力强大的预训练和微调机制,使其能够在各种临床NLP任务上展现出色的性能,从而支持更精准的病人护理和更有效的医疗决策。本节详细讨论了ClinicalMamba模型的性能表现,特别是与其他领先的临床语言模型的比较,以及在处理长文本临床笔记和平衡语言建模能力与推理速度方面的突破。原创 2024-03-14 14:29:38 · 681 阅读 · 0 评论 -
OncoGPT1:肿瘤学领域大模型
列出了包括MiaoShou、YouLai、MFK、BoHe、XYWY、YiLianMeiTi、FamilyDoctor、iPlusMed、eHealth Forum、iCliniq、Question Doctors、HealthCareMagic和WebMD的中英文医疗咨询网站,作为对话数据收集来源。家庭医生 中文 3141 https://wwys.familydoctor.com.cn/iCliniq 英文 735 https://www.icliniq.com/原创 2024-03-14 09:50:22 · 1254 阅读 · 0 评论 -
AutoRD 自动化罕见疾病挖掘:专注于从非结构化文本中提取罕见疾病信息并构建相应的知识图谱
在AutoRD中,给定医学文本T,首先提取实体E={E1, E2, …, En}和关系R={R1, R2, …, R},然后基于E和R输出知识图谱KG。实体类型包括’罕见疾病’、‘疾病’、‘症状和体征’以及’代词’。之所以采用这个子解法,是因为定义清晰的任务和实体类型有助于指导系统精确地识别和分类文本中的关键信息,为后续的关系提取和知识图谱构建奠定基础。通过综合应用这些子解法,AutoRD系统能够有效地从医学文本中自动提取罕见疾病的相关信息,并构建出详细的知识图谱,从而支持罕见疾病的研究和管理。原创 2024-03-13 20:19:37 · 870 阅读 · 0 评论 -
超越幻觉:AI在创建信任感医疗记录中的新突破!
在这项研究中,作者采取了一系列步骤来生成、评估并改进自动生成的患者出院摘要的质量。数据集来源我们的数据来源是公开的MIMIC-IV-Note-DI数据库,它包含来自美国波士顿贝斯以色列女执事医疗中心的去标识化临床笔记。这些笔记涵盖了14万多名患者的33万份临床文档,提供了详实的医疗信息。预处理步骤在使用这些数据之前,我们设计了一个预处理管道来过滤和清洁数据。这包括去除无关的内容、校正明显的错误,并将专业的医疗术语翻译成通俗易懂的语言。此步骤旨在减少模型训练过程中可能出现的误导信息。幻觉的标注过程。原创 2024-03-13 16:47:27 · 567 阅读 · 0 评论 -
细粒度分析:AI是如何一步步审视你的健康记录的?
解决方案:我们提出使用大型语言模型来帮助评估摘要,通过一种称为属性结构化(AS)的方法。原创 2024-03-13 14:55:04 · 1531 阅读 · 0 评论 -
【大模型 数据增强】零一万物 Yi 数据处理思路
通过分析每个聚类的质量标签,我们可以优化新闻源的选择,比如发现某个聚类中的文章普遍质量不高,则可以针对性地调整或排除这类来源。文章如果包含过高比例的特殊符号或短行,很可能是格式混乱、质量低下的文本,通过设定特定的阈值,可以自动识别并排除这类内容。通过高质量、高多样性的数据处理,以及模型架构的细微调整,来确保模型能够学习到丰富而深入的知识,展现出高级的能力。一般,我们就是采用垂类领域的开源数据集,他们不是,是自己手动标注的,精心构造。我们可以训练一个分类器,来识别那些类似于维基百科这样高质量网站的文章。原创 2024-03-11 10:06:01 · 1121 阅读 · 0 评论 -
【大模型安全】怎么防御提示词注入攻击 --- OWASP 十大威胁之首
这是指通过改变提示(指令或用户输入)的格式和结构,来提高系统的安全性和准确性。现在,假设相同的在线银行服务聊天机器人经过了良好的语义增强和结构增强训练,以提高安全性。这种情况下,即使面对可能的安全威胁,机器人也能保持信息的安全性,不泄露任何敏感数据。最后,优化模型,使得能灵活地生成各种类型的提示词,来绕过不同主流模型的防御机制。分类器判断,学了一堆坏事例子,然后把它们当作标准,来甄别哪些是好的,哪些是坏的。这种情况下,机器人的回答暴露了关于用户密码的信息,增加了安全风险。利用给大模型的输入,搞事情。原创 2024-01-23 10:16:57 · 1768 阅读 · 0 评论 -
StructLM:处理医学数据表格与统一医学术语多样性的桥梁
StructLM在处理这些任务时,能够利用其对结构化数据的理解能力,从表格、数据库和其他结构化格式中提取和处理信息,然后生成有用的、针对性的自然语言输出。图中展示了两个例子:一个是给定数据表后回答问题的情况,另一个是未见任务的评估,说明了模型如何在没有直接指导的情况下处理新的查询类型。我们的StructLM系列在18个评估数据集中的14个上超过了特定任务的模型,并在7个SKG任务上建立了新的SoTA成就。我印象最深的是,从病历中提取数据,同一医学概念有多种术语表达,没有统一的医学术语标准,只能人工提取。原创 2024-02-28 13:10:15 · 584 阅读 · 0 评论 -
TV-SAM 新型零样本医学图像分割算法:GPT-4语言处理 + GLIP视觉理解 + SAM分割技术
利用了GPT-4的强大语言处理能力、GLIP的视觉理解能力以及SAM的分割技术,TV-SAM能够自动解析医疗图像,生成精准的文本和视觉提示,从而实现了前所未有的零样本分割效果。通过这种三阶段方法,TV-SAM能够有效支持肺结节的自动检测和分割,为临床医生提供了一个强大的工具,以更准确和高效地评估肺部扫描结果,进而改善病人的诊断和治疗过程。通过这种方法,TV-SAM能够在仅有未标记医学图像和感兴趣的概念、对象或异常的情况下,自动执行这三个阶段并生成相应的分割掩码,有效提高医学图像分析的效率和准确性。原创 2024-02-28 10:53:37 · 1025 阅读 · 0 评论 -
DB-GPT:大模型 + 数据库,全流程自动化
DB-GPT是在RAG框架的基础上建立的,通过结合新的训练和推理技术来提高性能和效率。原创 2024-02-27 11:23:11 · 1807 阅读 · 0 评论 -
【文生视频】Diffusion Transformer:OpenAI Sora 原理、Stable Diffusion 3 同源技术
特征1(模型架构):DiT采用了变换器架构,特别是在处理序列化的图像数据方面,这是因为变换器架构在捕捉长期依赖关系方面表现出色。特征2(序列化输入):通过将图像分割成小patches并将它们序列化为tokens,DiT能够有效地在变换器模型中处理图像数据。特征3(位置编码):位置编码被应用于tokens以保留空间信息,这对于保持图像中的相对位置关系至关重要。特征4(计算复杂度):通过调整补丁大小,DiT可以在保持精细度的同时增加或减少模型的计算负担(Gflops)。特征5(性能优化)原创 2024-02-25 19:56:28 · 1799 阅读 · 2 评论 -
【大模型 数据增强】IEPILE:基于模式的指令生成解法,提高大模型在信息抽取任务上的性能
在训练阶段,可能所有模式都被查询,但在实际评估或应用中,只查询了部分模式,例如仅查询了并购方和被并购方,没有查询交易金额和日期。: 在训练数据中,我们不仅提供完整的并购事件信息(包括并购方、被并购方、交易金额和交易日期),还要创建一些只包含部分信息(如仅并购方和被并购方)的训练实例。: “并购方”和“被并购方”的字段可能在文本中以多种方式被提及,例如,一个企业可能被称为“公司”,“企业”,或者直接用其公司名。此外,一家公司在不同的并购事件中可能既是并购方也是被并购方,这增加了语义上的混淆和抽取的难度。原创 2024-02-24 19:16:48 · 745 阅读 · 0 评论 -
【大模型 数据增强】NeuScraper:神经网络抓取工具,超传统网页抓取工具20%
NeuScraper与其他方法在准确度(Acc.)、精确度(Prec.)、召回率(Rec.)、F1得分和延迟(Latency)这些评价指标上的总体性能对比。NeuScraper在所有指标上都有较高的得分,特别是在F1得分上相比其他方法有显著提高,并且在延迟上也有优势,只有6.18ms。:如果网站的布局发生变化(这在现代Web开发中很常见),规则可能会失效,导致抓取到的内容包含广告或完全错过关键信息。在示例中,它标出了要提取的文本区域,例如标题和正文,并将它们转换成了相应的标签和序列。原创 2024-02-24 16:56:31 · 1574 阅读 · 0 评论 -
零样本带解释性的医学大模型
在左边的脑部MRI图像中,除了疾病类别,还加入了由ChatGPT提供的额外病症信息,如“Presence of contrast enhancement”(对比度增强的存在)和“Presence of necrosis”(坏死的存在)。开始可能是一个简单的提示,如“描述肺炎的X射线图像特点”,然后根据生成的描述的质量,我们可能会添加更多具体性,如“描述细菌性肺炎在X射线图像上的表现”。在结合了这些额外信息后,生成的注意力图显示模型现在更集中地关注在图像的特定区域上,这可能对于诊断该类型的脑肿瘤是关键的。原创 2024-02-23 10:46:03 · 1245 阅读 · 0 评论 -
【医学大模型】大模型 + 长期慢病的预测和管理
管理框架中的个性化提示工程和医学知识注入,侧重于为每个用户定制化服务,不仅仅是从疾病检测的角度,还包括疾病的整体管理和教育。最后,多提示工程将这两种技术结合起来,利用多种提示策略来增强模型的检测能力,提高在处理慢性疾病检测任务时的准确性和效率。最终,通过多提示工程的应用,结合个性化提示和基于医学知识的规则提示,实现了对抑郁症检测任务的高效和准确处理。检测框架中的前缀调优和规则基提示,则更专注于提高疾病检测的准确性,通过精细调整模型来识别特定的疾病特征。原创 2024-02-22 09:00:02 · 662 阅读 · 0 评论 -
【医学大模型】InMD-X:超精细化 + 内科医生的大语言模型
因为每个步骤都是顺序依赖的,形成了一个线性的进展路径:从数据策划到模型的细化调整,再到专业对齐,每个步骤都为下一步奠定了基础。这里的目标是深入理解如何通过细化到内科的各个子专业来定制大型语言模型,从而满足医学领域的特定需求。这种方法强调了针对特定医学子专业的个性化语言模型的重要性,同时也体现了医学研究数据处理的细致程度。: 医疗健康领域的大型语言模型普遍缺乏针对医学子专业的特化,导致不能满足各子专业的独特需求。整个框架的目的是通过精确和有目的的数据收集,提炼信息,并生成能够支持问答系统的数据集。原创 2024-02-21 21:15:42 · 1002 阅读 · 0 评论 -
【医学大模型】临床推理 + 大模型,推理感知型诊断框架
例如,模型可能会生成一个推理:“考虑到患者的海马体萎缩程度,结合其年龄、MMSE评分下降,以及APOE4基因的存在,这些都是阿尔茨海默病的典型指标。这种透明的推理过程与医生分析患者信息时的思考过程相似,可以帮助医生更好地理解和信任模型的判断,同时也为患者提供了更加详细和透明的信息。在临床推理的背景下,这意味着模型不仅基于患者数据进行诊断,而且还能生成解释其推理路径的理由,从而提供更透明的诊断过程。:首先,LLM会根据患者数据生成一个临床推理,解释为什么根据提供的信息,特定的诊断是有道理的。原创 2024-02-21 17:30:51 · 838 阅读 · 0 评论 -
【超越专家医师】大模型 + 罕见病诊断
然而,如果将这些症状转化为标准化的医学术语,如将“间歇性肌肉抽搐”对应到HPO(人类表型本体)中的“肌肉痉挛”(HP:0003394),LLMs就可以更直接地访问与这些标准化术语相关的医学知识,从而提高诊断的准确性。通过利用表型信息内容(IC)值和随机行走算法,动态提示策略能够根据具体的病例特征,智能地选择最相关和信息丰富的示例,从而显著提高LLMs在罕见病诊断中的性能和准确性。这种任务关注于通过提高语义理解和精准匹配的方法来克服LLMs在表型提取和标准化方面的挑战,以便更准确地识别和分类疾病的表型。原创 2024-02-21 11:20:46 · 832 阅读 · 0 评论 -
【眼科大模型】Ophtha-LLaMA2:视觉模型提取图像特征 + LLM基于特征生成眼底病变的诊断报告
通过这些结构调整,模型现在能够更准确地从眼底图像中识别出细小的病变特征,并将这些特征准确地映射到专业的医学术语上,生成的文本描述不仅准确,而且包含了丰富的细节,为医生提供了更有价值的信息。:使用 RoPE 增强了模型对长距离依赖的理解,这在处理医学图像描述时特别重要,因为细微的病变特征及其在文本描述中的正确表达往往需要对图像上下文的全面理解。是玻璃体疣(双眼)。是正常的睑板腺(双眼)。在生成关于视网膜裂孔的描述时,模型可能无法准确地将图像特征与正确的医学术语关联起来,导致生成的文本不够准确或缺乏细节。原创 2024-02-20 15:07:51 · 1233 阅读 · 0 评论 -
【大模型 幻觉】CRAG:改进传统的 RAG,增加纠正机制提升生成文本的准确性
CRAG延续了RAG的基本框架,即通过检索器从大量知识文档中检索相关信息,并将这些信息作为输入的一部分提供给生成器,以增强生成文本的相关性和准确性。如果检索到的文档不够准确或者包含过时信息,生成的传记可能会包含错误的事实,导致整体质量下降。基于RAG的系统可能直接从预先设定的知识库中检索与查询相关的文档,并基于这些文档生成传记。当检索到的文档不相关或质量不高时,CRAG会采用网络搜索来找到更好的信息源。RAG的局限性:依赖检索文档的相关性和准确性,不准确的检索结果会损害模型性能。原创 2024-02-20 10:27:01 · 778 阅读 · 0 评论 -
【医学大模型】MEDDM LLM-Executable CGT 结构化医学知识: 将临床指导树结构化,便于LLM理解和应用
假设一位患者出现了胸痛和呼吸困难的症状,并且正在使用一个基于LLM-executable CGT的系统寻求帮助。原创 2024-02-19 20:33:28 · 732 阅读 · 0 评论 -
【医学大模型】Text2MDT :从医学指南中,构建医学决策树
如果有(“Yes”),则进一步判断是否是儿童肌阵挛发作,是的话(“Yes”),避免使用拉莫三嗪,否则(“No”),使用苯巴比妥或拉莫三嗪。首先,通过标准化和结构化的方法,我们定义出哪些文本片段表示条件判断(例如,病人年龄超过60岁),哪些表示决策(例如,使用药物A治疗)。最终,通过应用预训练模型和特定的算法流程,从文本中抽取出的信息被转化成一个结构化的MDT,明确显示了从条件判断到最终决策的完整路径。在决策树的左侧,如果患者对丙戊酸适应(“Yes”),则继续向下走,如果不适应(“No”),则考虑其他药物。原创 2024-02-19 17:34:31 · 1063 阅读 · 0 评论