CANCERLLM: A LARGE LANGUAGE MODEL IN CANCER DOMAIN

最新推荐文章于 2025-12-18 14:23:27 发布
最新推荐文章于 2025-12-18 14:23:27 发布
阅读量157 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM for Medical 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/142491914

本文是LLM系列文章，针对《CANCERLLM: A LARGE LANGUAGE MODEL IN CANCER DOMAIN》的翻译。

CANCERLLM：癌症领域的大型语言模型

摘要

ClinicalCamel 70B、Llama3OpenBioLLM 70B 等医学大语言模型 (LLM) 在各种医学 NLP 任务中表现出了令人印象深刻的性能。然而，目前仍然缺乏专门针对癌症领域设计的大型语言模型（LLM）。此外，这些LLM通常有数十亿个参数，这使得它们对于医疗保健系统来说计算成本高昂。因此，在这项研究中，我们提出了 CancerLLM，一个具有 70 亿个参数和 Mistral 风格架构的模型，对涵盖 17 种癌症类型的 2,676,642 份临床记录和 515,524 份病理报告进行了预训练，然后对两项癌症相关任务进行了微调，包括癌症表型提取和癌症诊断生成。我们的评估表明，与其他现有的LLM相比，CancerLLM 取得了最先进的成果，平均 F1 分数提高了 7.61%。此外，CancerLLM 在两个拟议的稳健性测试平台上优于其他模型。这说明CancerLLM可以有效地应用于临床人工智能系统，增强癌症领域的临床研究和医疗保健服务。

1 引言

2 CANCERLLM

3 结果

4 讨论

5 结论

在这项研究中，我们引入了CancerLLM，这是专为癌症领域设计的医学LLM。我们提供了三个用于癌症表型提取、癌症诊断生成的数据集。此外，我们提出了两个测试平台来评估 CancerLLM 的稳健性。将 CancerLLM 与 14 个广泛使用的 LLM 进行比较，我们的结果表

了解本专栏 订阅专栏 解锁全文 超级会员免费看
A Survey on Deep Learning Techniques Applied to medical image analysis
AI天才研究院
08-13 656
作者：禅与计算机程序设计艺术 Introduction:Deep learning techniques have recently gained popularity in medical image analysis because they are capable of accurately identifying disease markers without relying on human intervention, enabling better decision-making and tre
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5903
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
CancerLLM: 癌症领域的大型语言模型
2401_87013905的博客
09-10 1028
值得注意的是，即使是像Llama3-OpenBioLLM-70B和ClinicalCamel-70B这样拥有更多参数的模型，也未能超越Bio-Mistral 7B，这表明光有更大的参数规模并不能保证更好的结果。一个聚焦于癌症的LLM，整合了专门的癌症知识，可以显著改善诊断和治疗方案的制定。模型使用了如精确匹配、BLEU-2和ROUGE-L等评估指标来微调和评估，在14个基准模型上表现优越，并显示出对反事实和拼写错误的鲁棒性，显著高于现有医学大语言模型的精确性、召回率和F1分数。
LLaVA-Med 论文阅读笔记
qq_58400270的博客
12-03 3568
本文提出了一种经济有效的方法训练一个可以回答生物医学图像开放研究问题的视觉-语言对话助手。
（转） Deep Learning in a Nutshell: Core Concepts
weixin_33724570的博客
09-06 194
  Deep Learning in a Nutshell: Core Concepts Share:   Posted on November 3, 2015 by Tim Dettmers 7 CommentsTagged cuDNN, Deep Learning, Deep Neural Networks, Machine Learning,Neural Networks ...
计算机视觉论文-2021-07-23
中科院AI算法工程师的博客
08-02 963
本专栏是计算机视觉方向论文收集积累，时间：2021年7月23日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:A Public Ground-Truth Dataset for Handwritten Circuit Diagram Images AUTHORS: Felix Thoma ; Johannes Bayer ; Yakun L...
Deep Learning in a Nutshell: Core Concepts
09-22 1384
This post is the first in a series I’ll be writing for Parallel Forall that aims to provide an intuitive and gentle introduction to deep learning. It covers the most important deep learning concepts
用于表格检测和结构识别的深度学习研究综述-Deep learning for table detection and structurerecognition: A survey
qq_55888300的博客
01-27 2452
TableSegNet使用较浅的路径来发现高分辨率的表格位置，而使用较深的路径来检测低分辨率的表格区域，将发现的区域分割成单独的表格。为了提高网络学习表格空间排列方面的能力，作者将退化纳入了网络的核心，并创建了一个简单的FPN网络来提高模型的有效性。Y Li[《A gan-based feature generator for table detection》]提供了一种新的网络来生成表格文本的布局元素，并提高规则较少的表格的识别性能。后来，随着更复杂的架构的发展，更多的工作被放到表列和整体结构识别中。
计算机视觉论文-2021-07-07
中科院AI算法工程师的博客
07-08 2193
本专栏是计算机视觉方向论文收集积累，时间：2021年7月7日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Morphological Classification of Galaxies in S-PLUS Using An Ensemble of Convolutional Networks AUTHORS: N. M. CARDOSO...
论文阅读笔记（二十一）：MDNet: A Semantically and Visually Interpretable Medical Image Diagnosis Network
sunshine_010的博客
04-15 1952
The inability to interpret the model prediction in semantically and visually meaningful ways is a well-known shortcoming of most existing computer-aided diagnosis methods. In this paper, we propose MD...
大模型学习基础（五） 强化学习（Reinforcement Learning，RL）初步
qq_56095294的博客
12-13 389
前面的文章简单介绍过，传统的监督学习所使用的数据集是（特征，标签），有“标签”即明确的知晓正确的输出应该是什么。而实际的情况是，环境的状态S是由多个Si构成的，每训练一组S-a即训练一个多分类问题，把这些问题的损失函数（交叉熵）加在一起，即可训练出在不同的状态下应该使用什么动作。模型在选择一个动作之后，这个动作实际是对Environment发生，相应的Environment会给模型一个回馈Reward，然后再给模型一个新的Observation，模型继续选择新的动作，循环此过程。
数据分析Agent白皮书：揭秘Data x AI的底层逻辑与未来关键
LyAGent的博客
12-18 358
《2025数据分析Agent白皮书》指出，数据分析Agent正成为AI落地的核心形态，实现从"人人分析"到"人人消费"的转变。白皮书系统解析了其技术架构（包括Query/Document/DeepAnalyze三大Agent能力）、行业实践（能源/制造/零售等领域）及落地路径，强调需突破数据准度、分析深度与消费广度三大挑战。未来，数据分析Agent将深度融入业务流程，推动"洞察即行动"的自动化决策模式。该技术有望彻底改变企业数据消费方式，使数据智能
以太联的自愈功能与看门狗机制解析
suzhou_speeder的博客
12-15 1137
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战
Lab4AI的博客
12-17 565
本项目依托Lab4AI平台，基于LLaMA-Factory成功对Qwen3-VL进行了完整的微调流程。我们将传统的人脸情绪识别任务与多模态大语言模型（MLLM）相结合，探索了MLLM在视觉情绪理解中的应用。通过微调Qwen3-VL，我们成功将传统的分类任务转化为多模态推理任务，显著提升了模型在复杂场景下的鲁棒性和准确率。这一方案不仅在人脸情绪识别上取得了显著提升，还为其他视觉任务的多模态大模型应用提供了新的思路，具有广泛的应用前景。
Transformer架构的原理是什么？
SACKings的博客
12-15 726
对于“Thinking”这个词，它的输出向量可能包含了90%它自己的信息和10%“Machines”的信息。而对于“Machines”，它的输出可能包含了70%它自己的信息和30%“Thinking”的信息。Transformer 架构的原理是理解现代大模型（如 GPT、BERT、T5 等）的基石。正是因为这些原理上的优势，Transformer才取代了RNN和CNN，成为了当今AI大模型时代的统治性架构。的（打乱输入顺序，输出可能不变），它没有内置的位置概念。Q·K 然后Softmax。
AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量
itwangyang520的博客
12-14 1154
扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。
神经网络基础
m0_54291751的博客
12-17 524
归回问题用的最多的损失函数: **Smooth L1;**+ 分类问题用的最多的损失函数： ****(也可以用于二分类);```python# 1. 加载csv文件数据集.data = pd.read_csv('data/手机价格预测.csv')# print(data.head()) # 查看前五行数据# data.info() # 查看数据是否有缺失值# 2. 获取x特征列 和 y标签列.# 3. 把特征列转成浮点型.
深入NVIDIA Nemotron-3：高效准确的技术、工具与数据深度解析
最新发布
专注于人工智能领域的小何尚
12-18 743
摘要：NVIDIA Nemotron-3技术解析 NVIDIA Nemotron-3系列模型为构建专业AI智能体提供了突破性解决方案。该系列采用创新的混合Mamba-Transformer MoE架构，结合状态空间模型(Mamba)的长序列处理能力、Transformer的精确推理和MoE的高效计算，支持高达100万token的上下文处理。模型通过NeMo Gym多环境强化学习框架训练，使智能体掌握复杂任务执行能力。技术亮点包括：1)混合架构实现超长上下文推理；2)开源RL训练环境支持智能体开发；3)原生支
nl2sql技术实现自动sql生成之Spring AI Alibaba Nl2sql
疾风sxp的博客
12-15 962
上一节我们在介绍了自然语言转sql的基本思路，今天我们通过实操来解决这一技术实现，通过Spring AI Alibaba开源的nl2sql框架进行这块技术的讲解。
parseRKNN: configSize large then model size
12-14
当在 `parseRKNN` 时出现 `configSize large then model size` 问题，一般意味着配置信息的大小超出了模型本身的大小，可能由以下几种原因导致，对应的解决方法如下： ### 检查配置文件 配置文件可能包含了多余或者错误的信息，导致其大小异常。需要仔细检查配置文件，去除不必要的参数或者修正错误的参数设置。例如，检查配置文件中是否有重复的配置项或者错误的参数值。 ```python # 示例：检查配置文件的部分代码 import yaml try: with open('config.yaml', 'r') as f: config = yaml.safe_load(f) # 检查配置项 for key, value in config.items(): if key == 'unnecessary_key': del config[key] # 删除不必要的配置项 except FileNotFoundError: print("配置文件未找到") ``` ### 模型加载问题 模型文件可能损坏或者没有完整加载。需要重新下载或者拷贝模型文件，确保模型文件的完整性。同时，检查模型文件的路径是否正确。 ```python import os model_path = 'path/to/your/model.rknn' if not os.path.exists(model_path): print("模型文件不存在，请检查路径") else: # 可以尝试重新加载模型 try: # 这里假设使用 rknn 库加载模型 from rknn.api import RKNN rknn = RKNN() ret = rknn.load_rknn(model_path) if ret != 0: print("模型加载失败，请检查模型文件是否损坏") except ImportError: print("未找到 rknn 库，请安装") ``` ### 版本兼容性问题 使用的 RKNN 工具版本可能与模型不兼容。需要确认使用的 RKNN 工具版本与模型的版本一致。可以查看官方文档或者社区论坛，了解不同版本之间的兼容性信息。 ```bash # 示例：查看 RKNN 工具版本 rknn --version ``` ### 内存问题 系统内存不足可能导致配置信息无法正确加载。可以关闭一些不必要的程序或者服务，释放系统内存。同时，检查系统的内存使用情况，确保有足够的内存来加载模型和配置信息。 ```python import psutil # 查看系统内存使用情况 memory = psutil.virtual_memory() print(f"总内存: {memory.total / (1024 ** 3):.2f} GB") print(f"可用内存: {memory.available / (1024 ** 3):.2f} GB") if memory.available / memory.total < 0.1: print("系统内存不足，请关闭一些不必要的程序") ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值