【论文解读】Med-BERT: 用于疾病预测的大规模结构化电子健康记录的预训练情境化嵌入

已于 2024-10-31 09:48:29 修改
阅读量590 收藏
点赞数
分类专栏： PaperReading 文章标签： BERT 预训练模型 电子健康记录 Medical 嵌入表示 表示学习 Med-BERT
于 2024-10-31 09:45:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ARPOSPF/article/details/143381742
版权

【论文解读】Med-BERT: 用于疾病预测的大规模结构化电子健康记录的预训练情境化嵌入

Med-BERT：pretrained contextualized embeddings on large-scale structured electronic health records for disease prediction

​Med-BERT
​
摘要：基于电子健康记录（EHR）的深度学习（DL）预测模型在许多临床任务中都表现出色。然而，这些模型通常需要大型训练队列来实现高精度，这阻碍了在训练数据有限的情况下采用基于DL的模型。最近，bidirectional encoder representations from transformers（BERT）和相关模型在自然语言处理领域取得了巨大的成功。在非常大的训练语料库上对BERT进行预训练会生成情境化嵌入，从而提高在较小数据集上训练的模型的性能。受BERT的启发，我们提出了Med BERT

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Med-BERT - 预训练教程
强化学习曾小健
03-26 960
的患者，并验证了其记录的质量。如果您有一个预先存在的词汇文件，您可以使用该文件的路径，也可以使用 NA 创建一个新文件。由于 Cerner HealthFacts 不包括诊断的确切日期，我们决定使用入院时出示 (POA) 标记等数据元素以及诊断优先级以及诊断是否记录在 EHR 中或仅添加到账单中（使用第三方系统） ），对遭遇中的诊断代码进行排序。标头中找到：如果您只需要预处理数据的子集，请在此处指定子集大小（应该是患者的数量）包含），如果将其设置为 0，它将包含所有数据。
RAG 技术：15 种典型框架综述与深度剖析
zhangjiaofa的专栏
02-26 107
它能够根据法律文本的特点和需求，灵活调整模型参数，同时综合运用多种检索策略，确保检索到的信息准确且贴合法律条文的实际含义，为法律领域的文本处理提供了更可靠的解决方案。错误的检索结果会误导生成模块，导致生成的文本偏离事实或缺乏逻辑性，严重影响RAG系统的输出质量，因此提高检索的精准度和可靠性是提升RAG性能的关键环节。它通过精心设计的检索与融合机制，能够精准筛选外部知识源，将其与LLMs内部知识有效结合，从而生成更具可靠性与逻辑性的文本内容，在提升生成质量的同时，降低了因信息不当引入而产生的幻觉风险。
Med-BERT 项目推荐
gitblog_00160的博客
12-06 337
Med-BERT 项目推荐 Med-BERT Med-BERT, contextualized embedding model for structured EHR data 项目地址: https://gitcode.com/g...
每天读一篇论文7--MEDBERT.de: A Comprehensive German BERT Model for the Medical Domain
m0_53371353的博客
03-16 294
MEDBERT.de: A Comprehensive German BERT Model for the Medical Domain一个全面的德国医学领域的BERT模型
MedBERT：医疗领域的预训练语言模型
gitblog_00089的博客
04-04 1660
MedBERT：医疗领域的预训练语言模型 项目地址:https://gitcode.com/gh_mirrors/me/medbert 项目简介 是一个基于BERT（Bidirectional Encoder Representations from Transformers）的预训练模型，专为生物医学领域定制。该项目的目标是提升自然语言处理在医疗文本理解、信息提取等任务中的性能，使AI更有效地协...
开源项目Med-BERT常见问题解决方案
gitblog_01095的博客
12-05 677
开源项目Med-BERT常见问题解决方案 Med-BERT Med-BERT, contextualized embedding model for structured EHR data 项目地址: https://gitcod...
Med-BERT 开源项目使用教程
gitblog_00414的博客
09-08 728
Med-BERT 开源项目使用教程 Med-BERTMed-BERT, contextualized embedding model for structured EHR data项目地址:https://gitcode.com/gh_mirrors/me/Med-BERT 1. 项目介绍 Med-BERT 是一个基于 BERT 框架的预训练上下文嵌入模型，专门用于结构化电子健康记录（EHR）数...
【AI视野·今日NLP 自然语言处理论文速览 第三十八期】Thu, 21 Sep 2023
TomRen
09-22 1691
AI视野·今日CS.NLP 自然语言处理论文速览 Thu, 21 Sep 2023 Totally 57 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Chain-of-Verification Reduces Hallucination in Large Language Models Authors Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Ra
万字长文细说端侧大模型进展(综述)
强化学习曾小健
11-16 1523
大型语言模型（LLMs）的出现彻底改变了自然语言处理（NLP）领域。由于其在边缘设备上的低延迟、数据本地化和个性化用户体验的优势，越来越多的研究关注在资源受限环境中部署LLMs的挑战与解决方案。本文综述了设备端语言模型的发展，包括高效架构设计、模型压缩技术及硬件加速策略，并通过案例研究展示其实际应用及潜在优势。本综述全面阐述了设备上语言模型（LLMs）的最新进展，重点分析了模型压缩、高效架构设计和硬件-软件协同优化等领域的突破。
Biomedical knowledge graph-enhanced prompt generation for large language models
weixin_43961909的博客
03-10 1612
大语言模型（LLM）一直在以前所未有的速度推动人工智能的进步，但在生物医学等知识密集型领域仍然面临挑战。预训练和特定领域微调等解决方案增加了大量的计算开销，后者也需要领域专业知识。外部知识注入是特定于任务的，需要模型训练。在这里，我们引入了一种与任务无关的基于知识图谱的检索增强生成（KG-RAG）框架，通过利用 Llama-2-13b、GPT-3.5-Turbo 和 GPT-4等大语言模型和大规模生物医学知识图谱 SPOKE 来生成植根于既定知识的有意义的生物医学文本。
Med-BERT：基于电子健康记录的疾病预测模型
gitblog_00607的博客
09-08 1144
Med-BERT：基于电子健康记录的疾病预测模型 项目地址:https://gitcode.com/gh_mirrors/me/Med-BERT 项目介绍 Med-BERT 是一个基于 BERT 框架的上下文嵌入模型，专门针对电子健康记录（EHR）中的诊断代码进行预训练。该项目通过使用包含 28,490,650 名患者的结构化 EHR 数据，主要针对 ICD-9 和 ICD-10 格式的诊断代码进...
华为云苏嘉：如何整合预训练模型和知识图谱做医疗推理？
数据派THU
01-10 1138
本文约4100字，建议阅读8分钟 本文将讨论如何为AI+医疗提供一种行之有效的解决方案。[ 导读 ]随着人工智能技术特别是深度学习的普及，医疗行业也迎来一波革命的热潮，本文将讨论如何利用...
Med-BERT 项目使用教程
gitblog_00511的博客
09-08 452
Med-BERT 项目使用教程 Med-BERTMed-BERT, contextualized embedding model for structured EHR data项目地址:https://gitcode.com/gh_mirrors/me/Med-BERT 1. 项目的目录结构及介绍 Med-BERT/ ├── Fine-Tunning Tutorials/ │ └── ......
【Whole Word Mask】中文 bert wwm 预训练代码，预训练你自己的模型
Sito的博客
05-25 2760
基于 transformers 来进行 bert 的 wwm （全词掩码）预训练，让你的模型可以领域适配
医疗领域Bert模型比较
baiye
07-24 5425
医疗领域的Bert模型 chineseEHRBert 论文 无 类型 中文电子病历的预训练模型 数据量 100G+ 数据类型 医院的非公开数据 结果 比对结果没有出 预备是与原始BERT进行比对 不能跑 BioBert 类型 生物医学文本挖掘的预训练语言表示模型 数据集 英文生物医学相关数据集 形式 已经成为可以直接调用的工具 K-Bert 论文 AAAI 2020 研究者 北大+腾讯 类型 在特定领域的任务(包括金融、法律和医学)中，K-BERT的表现明显优于BERT，这表明K-BERT是解决需要专家
Google Colab实战-基于Google BERT的中文命名实体识别（NER）
weixin_42441790的博客
02-02 1万+
目录项目背景关于BERT基于Google BERT的中文命名实体识别（NER）项目实施代码和文件的准备在Google Colab上准备相应的环境 项目背景 之前的博文《Google Colab使用Tips》里面介绍了Google Colab使用的基本方法。其实写那篇文章的时候博主正在研究Google于2018年发表（论文）和开源（开源代码）的NLP通用框架BERT。在利用BERT实战的时候苦于手头...
应用在生物医学领域中的NLP预训练语言模型（PubMedBERT）
热门推荐
herosunly的博客
04-28 1万+
  新冠凸显了全球科学家面临的一个长期问题：我们如何与最新的科学知识保持同步？自病情发生以来的短短几个月内，学者就新冠和SARS病毒发表了成千上万的研究论文。这种爆炸性的增长激发了新冠开放研究数据集的创建，以促进研究和发现。但是，新冠大流行只是在医学界普遍挑战中的一个明显例子。PubMed是生物医学研究论文的标准存储库，每天增加4,000篇新论文，每年增加一百万篇。   仅靠人工就不可能跟踪如此迅速的进展。在大数据和精密医学时代，推进自然语言处理发展的紧迫性比以往任何时候都高，NLP可以帮助研究人员快速识别
BioBERT:用于生物医学文本挖掘的预训练生物医学语言表示模型
weixin_42891125的博客
11-26 1万+
原文题目： BioBERT: a pre-trained biomedical language representation model for biomedical text mining 原文网址： https://academic.oup.com/bioinformatics/advance-article-abstract/doi/10.1093/bioinformatics/btz6...
bert中文预训练模型_[中文医疗预训练模型] MC-BERT
weixin_42127020的博客
12-29 3625
Conceptualized Representation Learning for Chinese Biomedical Text Mining作者：Ningyu Zhang, Qianghuai Jia, Kangping Yin, Liang Dong, Feng Gao, Nengwei Hua作者单位：Alibaba Group项目地址：https://github.com/alibab...
mrc bert medcial
最新发布
02-27
### Medical BERT Model Applications in Healthcare NLP In the realm of healthcare natural language processing (NLP), various adaptations and extensions of the BERT model have been developed to cater specifically to medical data. These models leverage pre-trained architectures fine-tuned with domain-specific corpora, enhancing their performance on clinical text understanding tasks. #### Fine-Tuning for Specific Tasks Medical BERT variants such as Med-BERT are designed by incorporating extensive biomedical literature into training datasets[^3]. This approach allows these models to better comprehend terminologies unique to medicine, thereby improving accuracy when performing named entity recognition or relation extraction from electronic health records (EHR). #### Handling Longer Sequences Compared to standard implementations that limit input lengths at 512 tokens, some advanced versions like CPLLM-Llama2 can process up to 4096 tokens without additional training requirements. Such capabilities significantly expand applicability across diverse scenarios within hospitals where lengthy patient histories need summarizing or analyzing comprehensively. #### Integrating Structured Data Another significant advancement involves integrating structured information alongside unstructured textual inputs during inference time. By doing so, systems become capable not only of interpreting free-form notes but also correlating findings against standardized coding schemes used throughout healthcare institutions[^1]. ```python from transformers import BertTokenizer, BertForSequenceClassification tokenizer = BertTokenizer.from_pretrained('microsoft/BiomedNLP-PubMedBERT') model = BertForSequenceClassification.from_pretrained('microsoft/BiomedNLP-PubMedBERT') text = "Patient has a history of hypertension." inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) logits = outputs.logits ``` This code snippet demonstrates how one might load and use a specialized PubMedBERT model for sequence classification tasks relevant to healthcare applications.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

镰刀韭菜

看在我不断努力的份上，支持我吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值