CANCERLLM: A LARGE LANGUAGE MODEL IN CANCER DOMAIN

于 2024-09-28 10:00:00 发布
阅读量1 收藏
点赞数
分类专栏： LLM Daily LLM for Medical 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/142491914
版权

本文是LLM系列文章，针对《CANCERLLM: A LARGE LANGUAGE MODEL IN CANCER DOMAIN》的翻译。

CANCERLLM：癌症领域的大型语言模型

摘要

ClinicalCamel 70B、Llama3OpenBioLLM 70B 等医学大语言模型 (LLM) 在各种医学 NLP 任务中表现出了令人印象深刻的性能。然而，目前仍然缺乏专门针对癌症领域设计的大型语言模型（LLM）。此外，这些LLM通常有数十亿个参数，这使得它们对于医疗保健系统来说计算成本高昂。因此，在这项研究中，我们提出了 CancerLLM，一个具有 70 亿个参数和 Mistral 风格架构的模型，对涵盖 17 种癌症类型的 2,676,642 份临床记录和 515,524 份病理报告进行了预训练，然后对两项癌症相关任务进行了微调，包括癌症表型提取和癌症诊断生成。我们的评估表明，与其他现有的LLM相比，CancerLLM 取得了最先进的成果，平均 F1 分数提高了 7.61%。此外，CancerLLM 在两个拟议的稳健性测试平台上优于其他模型。这说明CancerLLM可以有效地应用于临床人工智能系统，增强癌症领域的临床研究和医疗保健服务。

1 引言

2 CANCERLLM

3 结果

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
专栏目录
订阅专栏
A Survey on Deep Learning Techniques Applied to medical image analysis
程序员光剑
08-13 276
作者：禅与计算机程序设计艺术 Introduction:Deep learning techniques have recently gained popularity in medical image analysis because they are capable of accurately identifying disease markers without relying on human intervention, enabling better decision-making and tre
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5385
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
（转） Deep Learning in a Nutshell: Core Concepts
weixin_33724570的博客
09-06 122
  Deep Learning in a Nutshell: Core Concepts Share:   Posted on November 3, 2015 by Tim Dettmers 7 CommentsTagged cuDNN, Deep Learning, Deep Neural Networks, Machine Learning,Neural Networks ...
计算机视觉论文-2021-07-23
中科院AI算法工程师的博客
08-02 748
本专栏是计算机视觉方向论文收集积累，时间：2021年7月23日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:A Public Ground-Truth Dataset for Handwritten Circuit Diagram Images AUTHORS: Felix Thoma ; Johannes Bayer ; Yakun L...
Deep Learning in a Nutshell: Core Concepts
09-22 1242
This post is the first in a series I’ll be writing for Parallel Forall that aims to provide an intuitive and gentle introduction to deep learning. It covers the most important deep learning concepts
LLaVA-Med 论文阅读笔记
qq_58400270的博客
12-03 1752
本文提出了一种经济有效的方法训练一个可以回答生物医学图像开放研究问题的视觉-语言对话助手。
用于表格检测和结构识别的深度学习研究综述-Deep learning for table detection and structurerecognition: A survey
qq_55888300的博客
01-27 1421
TableSegNet使用较浅的路径来发现高分辨率的表格位置，而使用较深的路径来检测低分辨率的表格区域，将发现的区域分割成单独的表格。为了提高网络学习表格空间排列方面的能力，作者将退化纳入了网络的核心，并创建了一个简单的FPN网络来提高模型的有效性。Y Li[《A gan-based feature generator for table detection》]提供了一种新的网络来生成表格文本的布局元素，并提高规则较少的表格的识别性能。后来，随着更复杂的架构的发展，更多的工作被放到表列和整体结构识别中。
计算机视觉论文-2021-07-07
中科院AI算法工程师的博客
07-08 1839
本专栏是计算机视觉方向论文收集积累，时间：2021年7月7日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Morphological Classification of Galaxies in S-PLUS Using An Ensemble of Convolutional Networks AUTHORS: N. M. CARDOSO...
Paper：《Graph Neural Networks: A Review of Methods and Applications—图神经网络:方法与应用综述》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-08 7916
Paper：《Graph Neural Networks: A Review of Methods and Applications—图神经网络:方法与应用综述》翻译与解读目录《Graph Neural Networks: A Review of Methods and Applications》翻译与解读Abstract1、Introduction介绍2、General design pipeline of GNNs—GNN通用设计流水线2.1、Find graph structure—查找图结构2.2、
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
（十九：2020.11.05）MICCAI 2020 追踪之论文纲要（译）＜中＞
Jojo论文基地
11-06 3995
讲在前面 此文章包含第三和第四篇博客。 论文目录 PART III 《Computer Aided Intervention, Ultrasound and Image Registration 计算机辅助干预，超声和图像配准》 计算机辅助干预 概要 1.Reconstructing Sinus Anatomy from Endoscopic Video – Towards a Radiation-Free Approach for Quantitative Longitudinal Ass
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 572
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
音频3A——初步了解音频3A
山河君的分享博客
09-23 1408
在日常的音视频通话过程中，说话的双端往往会面对比较复杂的场景，比如：环境存在较大的噪声，扬声器需要开启外放导致麦克风重新采集到，麦克风固定而人物需要走来走去等等的场景。而为了面对这些复杂的场景，音频通话不得不引入算法对于声音进行预处理，再进行发送给远端。而3A是对于音视预处理的三种算法的统称。AEC（Acoustic Echo Cancellation）：声学回声消除AGC (Automatic Gain Control)：自动增益控制。
苹果AI手机遇阻，国产手机找到超车机遇
songguocaijing的博客
09-23 883
去年，它只提供12期免息分期。事实上，苹果的Apple Intelligence高度依赖于Open AI，然而Open AI在国内的使用受限，而目前苹果在中国的AI合作方一直尚未决定，此前有消息报道，苹果已与多家中国大模型公司进行了接触，包括百度、阿里巴巴以及百川智能等，但也没有明确消息流出。苹果的光环总是高居天上，今年6月10日，苹果发布全新智能体Apple Intelligence后，市场对于将搭载“Apple所开发出的独一无二的AI”新机型寄予了极高的期待，甚至激起了对苹果下一个“超级周期”的预期。
【LLM论文日更】| 俄罗斯套娃嵌入模型
qq_59084968的博客
09-22 1063
适应性图像检索也达到了效率和精度的权衡，16维度做粗排，2048维度做精排的准确率已经和直接使用2048维度做排序的精度还高，但计算量大幅减小。：为了提高效率，MRL采用了权重绑定技术，即所有线性分类器的权重相同，从而减少内存成本。每个嵌入的前几个维度是一个信息丰富的低维向量，随着维度的增加，表示逐渐变得粗糙。本文将MRL/MRL-E模型与单独训练的低维表征（FF），SVD分解，子网络[2]方法进行了比较。16-32-64-128-256-2048 对前200-100-50-25-10个样本的。
UIKit-Camera
qq_43535469的博客
09-23 223
负责将AVCaptureDevice 转换为输入流，方便captureSession捕捉。
Her来了，OpenAI正式发布高级语音模式
最新发布
shadowcz007的博客
09-25 157
OpenAI宣布将Advanced Voice Mode（AVM）扩展到更多付费用户，包括ChatGPT的Plus和Teams用户。该功能旨在使ChatGPT的语音交互更加自然，并新增五种新声音和改进的口音识别能力。虽然Sky声音因法律争议被移除，但AVM的整体设计和性能得到了提升。新版本不仅能在用户打断时立即停止回答，还能根据用户语音中的情感调整响应。此外，视频和屏幕共享功能暂未推出。AVM目前...
Combining 3D Morphable Models: A Large scale Face-and-Head Model
05-25
Combining 3D Morphable Models: A Large scale Face-and-Head Model is a research paper that proposes a method to combine existing 3D Morphable Models (3DMMs) of face and head shapes to create a larger and more diverse model. The authors argue that existing 3DMMs suffer from limited variation due to the small number of samples used to create them, and that combining multiple models can this limitation. The proposed method involves aligning the different 3DMMs using a common reference frame, and then merging them into a single model. To ensure that the resulting model is still statistically representative of the population, the authors use a weighting scheme that takes into account the relative size of each dataset and the variance within each dataset. The final model is evaluated on several tasks, including face recognition and 3D face reconstruction from a single image. The results show that the combined model outperforms existing models in terms of accuracy and diversity. Overall, the paper presents a promising approach to creating more comprehensive 3DMMs that can better capture the variability of human faces and heads.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值